一直是在李牛下学习如何虫子饲养技术,后来为了方便,把苹果空气本上也装了。但是,这几天不知为何,李牛无线网卡网速不稳定,又不想扯网线,所以想在瘟斗上也装一个。在安装过程中,遇到了一些问题,记下来,以备参考。
第一,下载Py372安装之后,pip这个小东西一定要升级,否则会出错。命令:python -m pip install --upgrade pip
第二,安装虫子之前,一定要安装Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl这个C++14.0库支持,地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted. Twisted(绞接头)是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。
第三,在完成了以上两步之后,再pip install scrapy,才会成功。
第四,安装pywin32,pip install pywin32。只有装了这个,虫子才会动得欢。
第五,当你使用scrapy shell时,如果response时出现了attribute错误,如scrapy AttributeError: 'NoneType' object has no attribute 'xpath',不要急,那是你的settings中的ROBOTSTXT_OBEY没有设为False。文明的虫子是不会乱动人家的东西的,把它设为False,让虫子粗鲁些,一切都好了。