如果你需要在网上获取一定量的数据,爬虫可能会是比较好的选择。但是我们普通人不一定会写代码,那是不是就没有办法了呢?
当然有!
人总是会有懒惰的一面,那么相应的就会产生懒惰应对的方法。
今天给大家分享一下Web Scraper
这款爬虫工具,是chrome浏览器的插件,跨平台使用。可以方便的仅仅通过鼠标进行简单配置,就可以爬取你所想要数据。例如文章列表信息、电商网站商品信息、知乎回答列表、微博热门、微博评论等等。
先展示看看实例效果
实例1
https://www.0797rs.com/news/list-10--1.html
这个网站,爬取前两页文章的列表和链接。
第一页
第二页
永恒君已经提前配置好了
运行后的效果
实例2
https://www.zhihu.com/question/36550329
知乎的回答,爬取所有回答者的昵称、评论数和赞同数
运行后的效果
实例3
https://search.jd.com/Search?keyword=%E7%99%BE%E5%AE%9D%E7%AE%B1&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E7%99%BE%E5%AE%9D%E7%AE%B1&stock=1&page=1&s=1&click=0
某东的某个商品,爬取第一页商品的商品名称、价格、评论数
运行后的效果
为了更为直观的展示,永恒君把三个实例整合到一个视频里面,大家可以更为直观的感受一下效率和效果:
怎么样,效果不错吧?应付我们日常工作足足够了。
今天先展示下效果,后面会分享关于Web Scraper这款爬虫工具的一些实用方法。
你可能还会想看:
工具分享 | 在线小说一键下载
Python帮你定制批量获取智联招聘的信息
Python帮你定制批量获取你想要的信息
用python定制网页跟踪神器,有信息更新第一时间通知你(附视频演示)
把python网页跟踪神器部署到云上,彻底解放你的电脑
欢迎加入我的知识星球,为您提供更多服务和资源!