这几篇博文只是为了记录学习Beautiful Soup的过程,不仅方便自己以后查看,也许能帮到同样在学习这个技术的朋友。通过学习Beautiful Soup基础知识 完成了一个简单的爬虫服务:从allitebooks.com抓取书籍的书名和每本书对应的ISBN码,然后通过ISBN码去amazon.com抓取对应的价格。
第一部分 Beautiful Soup的基础知识
Beautiful Soup的安装和查找、浏览的方法。
第二部分 爬虫服务的实现过程
讲解了如何创建Beautiful Soup的项目,如何分析一个网站的HTML结构并编写查找代码。
完整代码请移步github: https://github.com/backslash112/book_scraper_python
我们处于大数据时代,对数据处理感兴趣的朋友欢迎查看另一个系列随笔: 利用Python进行数据分析 基础系列随笔汇总
接下来打算学习Scrapy库,Scrapy是一个采集工具,它可以帮你大幅降低网页查找和识别工作,轻松采集一个或多个域名的信息。有兴趣的朋友欢迎关注本博客,也欢迎大家留言进行讨论。