爬虫简介
“爬虫”不是一只生活在泥土里的小虫子，网络爬虫（web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览网络上内容的机器人。 爬虫访问网站的过程会消耗目标系统资源，很多网站不允许被爬虫抓取（这就是你遇到过的 robots.txt 文件， 这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理）。 因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”（大兄弟，慢点）。
爬虫逻辑
爬虫逻辑大概是，输入一个要爬取的URL地址，发送网络请求获取页面信息，处理自己需要的数据，模块大致可设计为：URL管理，网页下载器，爬虫调度器，网页解析器，数据处理器。
URL管理器
爬虫框架要处理很多的URL，我们需要设计一个队列存储所有要处理的URL，这种先进先出的数据结构非常符合这个需求。 将所有要下载的URL存储在待处理队列中，每次下载会取出一个，队列中就会少一个。我们知道有些URL的下载会有反爬虫策略， 所以针对这些请求需要做一些特殊的设置，进而可以对URL进行封装抽出 Request。
网页下载器
如果没有网页下载器，用户就要编写网络请求的处理代码，这无疑对每个URL都是相同的动作。 所以在框架设计中我们选取合适的下载器直接加入它就好了。
爬虫调度器
调度器和我们在开发 web 应用中的控制器是一个类似的概念，它用于在下载器、解析器之间做流转处理。 解析器可以解析到更多的URL发送给调度器，调度器再次的传输给下载器，这样就会让各个组件有条不紊的进行工作。
数据处理器
普通的爬虫程序中是把 网页解析器 和 数据处理器 合在一起的，解析到数据后马上处理。 在一个标准化的爬虫程序中，他们应该是各司其职的，我们先通过解析器将需要的数据解析出来，可能是封装成对象。 然后传递给数据处理器，处理器接收到数据后可能是存储到数据库，也可能通过接口发送给老王。
参考地址：https://blog.csdn.net/huangshulang1234/article/details/79081628
用户权限
UserAgent中文名为用户代理，是Http协议中的一部分，属于头域的组成部分，UserAgent也简称UA。它是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。通过这个标识，用户所访问的网站可以显示不同的排版从而为用户提供更好的体验或者进行信息统计；例如用手机访问谷歌和电脑访问是不一样的，这些是谷歌根据访问者的UA来判断的。UA可以进行伪装。
浏览器的UA字串的标准格式：浏览器标识(操作系统标识;加密等级标识;浏览器语言)渲染引擎标识版本信息。但各个浏览器有所不同。
我们在做爬虫的时候，不是通过浏览器正常访问，所以会被很多网站禁止访问，这个时候我们就需要手动在headers里加上UA属性，来伪装成浏览器进行访问。
参考地址：https://www.cnblogs.com/fu-yong/p/9017471.html
防爬规避
1，User Agent pool
用户信息池，可以伪装不同的用户在浏览网页。
2，IP pools
Ip池，可以伪装成不同的ip在不同的地方浏览网页。
参考地址：https://blog.csdn.net/wtftx/article/details/89642527
golang 爬虫框架推荐
gocolly是用go实现的网络爬虫框架，gocolly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫；依赖goquery库可以像jquery一样选择web元素。
参考地址：https://studygolang.com/articles/12073
github地址：https://github.com/gocolly/colly
gocolly官网：http://go-colly.org
