蜘蛛池就是一堆由域名组成的站群,在每个站点下都生成海量页面(抓一堆文本内容相互组合),页面模板与正常网页没多大区别。由于每个站点都有海量的页面,所以整个站群的蜘蛛总抓取量也是巨大的。给未收录的页面引蜘蛛,就是在站群正常网页的模板中单独开一个DIV,塞上未收录网页的链接,服务器不设缓存,蜘蛛每次访问,这块DIV中展现的链接都是不一样的。
给那些未收录的页面,在短时间内提供大量的真实的外链,入口曝光多了,被抓取几率就大,收录率自然也就上去了,又因为是外链,所以在排名上也有一定的正向加分。说到底,蜘蛛池的做的就是外链,所谓日发外链上百万,并不是不可能实现的。
蜘蛛池的难点,关键的不是技术问题,因为技术上实现并不复杂,主要是资源的问题,因为需要维护站群,每个站点做的越像正规站,蜘蛛抓取量就多。而且高酷蜘蛛池2000个独立域名站点,日均蜘蛛访问量高达200万,维护起来确实很耗资源。
很多新站,小站蜘蛛量很少,收录起来自然是非常慢,甚至是不收录。收录重点有二:1.没蜘蛛 2.有蜘蛛不抓取(涉及内容质量,网站基础等),但是前提一定是要有蜘蛛访问才行。没有访问,在精心准备的内容也是白搭。
链接导入之后,隔天需观察网站日志,观察蜘蛛量级是否增多。