1月份的时候就曾经安装过scrapy,但是失败了,python的某些第三方库在windows7下面经常出现不兼容的问题。今天找到了一篇博文,按照方法安装成功了。
需要安装 xlml
(1)安装 pywin32-220.win32-py3.5.exe 提供pywin32API
(2)安装 Twisted-17.1.0-cp35-cp35m-win32.whl,使用pip安装总是报vc的dll文件缺失的错误,其实哪怕下个VS2015还是会报错,到第三方库网站上面下载Twisted-17.1.0-cp35-cp35m-win32.whl,然后使用 pip 本地安装,注意,不能保存在中文文件夹里面,python不认。
pip install E:\Download\Twisted-17.1.0-cp35-cp35m-win32.whl
pip install wheel # 用来安装whl格式文件的,可装可不装
(3)安装 Scrapy-1.4.0-py2.py3-none-any.whl , 只要Twisted能够成功安装,scrapy就基本上没有问题了。还是到第三方库网站上面下载对应版本的Scrapy-1.4.0-py2.py3-none-any.whl,本地安装即可。
pip install E:\Download\Scrapy-1.4.0-py2.py3-none-any.whl
下面是第三方库的网址链接,应有尽有,版本齐全,良心网站
Unofficial Windows Binaries for Python Extension Packages
scrapy startproject XXXXX #创建名字为XXXXX的空scrapy项目。
scrapy crawl XXspider #爬虫或者自己命名的爬虫开始启动,注意要先变更到自己的项目文件夹中,否则不会启动。例如:
cd C:\Users\Administrator\PycharmProjects\Scrapy project\scrapytest
scrapy startproject MySpider