By 一页编程
什么是Robots协议
Robots是机器人的意思，那Robots协议是什么呢？
Robots协议的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），读起来很绕口，所以我们简称Robots协议。Robots协议的一个很重要作用就是网站告知爬虫哪些页面可以抓取，哪些不行。
我们之前讲过说一个网站想限制爬虫，有两个办法，一个办法是审查来源，一个办法是通过Robots协议来做到告知。Robots协议就是这样的一个功能，它的具体使用是在网站的根目录下放置一个文件——robots.txt文件，在这个文件中写明了在一个网站里哪些目录是允许爬虫去爬取的，哪些目录是不允许的。
通过这样的形式，你如果写了一个爬虫，你就要去尊重网站维护人员对网站资源的一个管理。
京东的Robots协议
我们看一下京东的Robots协议，浏览器打开网址：https://www.jd.com/robots.txt，就看到Robots协议的文本。
User-agent: *
Disallow: /?*
Disallow: /pop/*.html
Disallow: /pinpai/*.html?*
User-agent: EtaoSpider
Disallow: /
User-agent: HuihuiSpider
Disallow: /
User-agent: GwdangSpider
Disallow: /
User-agent: WochachaSpider
Disallow: /
-
User-agent: *：指的是对于任何的网络爬虫来源（定义为user-agent），也就是说无论你是什么样的网络爬虫都应该遵守如下的协议。 -
Disallow: /?*：不允许所有爬虫访问以问号开头的路径。 -
Disallow: /pop/*.html：不允许所有爬虫访问pop目录下的所有HTML页面。 -
Disallow: /pinpai/*.html?*：符合这个通配符的内容也是不允许任何网络爬虫访问的
此外，京东的robots协议又提供了User-agent: EtaoSpider 这样的一个内容，其实不只是EtaoSpider，后面还有四个网络爬虫，后面都跟了一句Disallow: / 指的是这四个网络爬虫，是不允许爬去京东的任何资源，
Robots基本语法
Robots协议他通过了一个基本语法来告知所有的爬虫，它内部资源能够被访问的权限，这个语法就是User-agent和Disallow。
-
User-agent表明的是哪些爬虫，如果我们想代表所有爬虫就用User-agent: *。 -
Disallow代表的是不允许这个爬虫访问的资源的目录。
有了这样的一个基本协议，就可以对整个网站的内容做一个相关的规范，使得所有的爬虫知道他可以访问哪里，不可以访问哪里。
