<center>淘宝与腾讯的robots.txt解析#
淘宝的robots.txt
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /product/
Disallow: /
允许Baiduspider爬寻article、oshtml、wenzhang整个目录，禁止爬寻product目录下面的目录。其它禁止访问。User-Agent: Googlebot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允许Googlebot爬寻article、oshtml、product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。User-agent: Bingbot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允许Bingbot爬寻article、oshtml、product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。User-Agent: 360Spider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
允许360Spider爬寻article、oshtml、wenzhang整个目录。其它禁止访问。User-Agent: Yisouspider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
允许Yisouspider 爬寻article、oshtml、wenzhang整个目录。其它禁止访问。User-Agent: Sogouspider
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /wenzhang
Disallow: /
允许Sogouspider爬寻article、oshtml、product、wenzhang整个目录。其它禁止访问。User-Agent: Yahoo! Slurp
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允许Yahoo! Slurp爬寻product、spu、dianpu、wenzhang、oversea整个目录。其它禁止访问。User-Agent: *
Disallow: /
禁止所有搜索引擎访问网站的任何部分<p>
腾讯的robots.txt
- User-agent: *
Disallow:
允许所有的robot访问
