今天为大家带来了自己的爬虫代码集,主要是以往学习Python爬虫过程中写过的大小项目,可能不是很全面,但是持续在更新,那我的代码里有什么?
1. Cnblogs - 博客园爬虫
使用Urllib库实现博客园"最新文章"的爬取,可以自行扩展为全站爬虫,但是要注意它的接口。
2. Golory_of_Kings - 王者荣耀爬虫
通过王者荣耀官网的英雄列表接口以及英雄皮肤的下载URL,完成对王者荣耀英雄全皮肤的下载。
3.MaoYan_Top100 - 猫眼TOP100爬虫
(见名知意)爬取猫眼TOP排行榜前100的电影信息。
4.Moments - 朋友圈爬虫
基于自动化测试工具Appium的微信朋友圈爬虫,模拟登录、抓取动态、保存数据。
5.Bilibili - B站爬虫
模拟登录B站并识别滑动验证码。破解滑动验证码的思路主要沿袭崔大破解极验的思路,登录、获取验证码Image对象、打码平台识别、本地转化识别结果、Selenium模拟滑动等。
6.DouYin - 抖音爬虫
基于Mitmdump的抖音短视频爬取,包括视频名称、作者名称、获赞数、转发量等重要信息的获取。
7.Crack_Jianshu - 简书爬虫
为了照顾简书,完成了简书的模拟登录并识别简书的点触式验证码,破解验证码的思路基本与滑动验证码相同。
8.Selenium_163 - 网易163邮箱爬虫
模拟登录网易163邮箱,并发送SOS邮件。主要是为了对iframe子节点的训练。
9.City_58 - 58房屋信息爬虫
使用Scrapy框架爬取58同城的出租房信息,并包含下级网页数据的爬虫,项目难度较大,可根据能力练习。
10.Selenium_Cnki - 知网爬虫
模拟登录注册知网,识别知网的普通数字英文混合验证码。别小看这简单的验证码,可是用tesserocr等Python识别库搞不定的。
其他的可以看截图: 我是爬虫小白,代码中如果有写的什么不好的地方,可以提交issue。最后,贴出我的Github仓库地址:https://github.com/Northxw/Python3_WebSpider,欢迎各种star和fork,一起学爬虫。