WebScraper
爬虫
更新:实际运用篇被锁了,想了解实际运用的可以看我主页的介绍,有渠道可以去查看。
爬虫初解
采集信息用的程序一般被称为网络爬虫(web crawler)、网络铲(web scraper),其行为模式一般就是先找到所需的网页,然后将需要的信息挖出来。所以一般我们会看到关于网络爬虫的图片就是蜘蛛或者穿山甲之类的,毕竟是很形象的嘛。
然而,在很多时候,网络爬虫都需要我们学会编程,主流的Java、Python等就有很多模块可以实现网络爬虫,但是很多人是不乐意或者说是没有持续性学习的动力。
所以,现在我要介绍一款插件(没错,就是web sraper
),让你免除网络爬虫的烦恼,快速上手获取网络数据,然后去做你想做的事情。(特此声明:毕竟是插件性质,所以条件有限,爬取网站文字或图片链接类的信息还是可以的,但是要想直接爬取excel表或者文件类的,那就只能请您去老实学习代码了。)
现在,就让我们直接进入主题吧。
WebScraper初解
安装Web Scraper插件
在Chrome浏览器和FireFox浏览器的应用商店中直接搜索Web Scraper安装插件就可以了,很直接吧,一点都不需要费脑子。
安装好之后,windows是直接F12
打开开发人工具并在里面找到webscraper栏。Mac用户则是cmd+opt+I
打开开发人工具。看到webscraper的工具按钮就是成功了(基本上没有出错的案例)。
然后就是官方文档了,这个就是应用一切的来源了。虽说是英文版的,但是国内好歹也有分享精神,有人将其翻译了,于是便有了中文文档。在文档里面,可以了解整个插件的基本方式,但是对于部分用户来说,看文档是件让人很难受的事情。所以,在此,我就直接以案例来介绍吧。
就从经常被爬的豆瓣来介绍吧。