scrapy 基于 twisted 编写,但是 twisted 没有官方 python3 的支持,所以如果使用 python3 直接 pip 安装 scrapy 的话,很大可能会报错,原因是 twisted 无法安装
解决方法:
安装 twisted 时使用 wheel格式 的包
wheel格式 的文件的后缀为 .whl
其本质是一个压缩文件
更详细的介绍请看
Python 包管理工具解惑
步骤:
先安装wheel模块
pip install wheel
然后到这个网站
Unofficial Windows Binaries for Python Extension Packages
下载对应版本的twisted的.whl文件(当然,其他python程序包也有对应的.whl版的文件)
然后 打开控制台 进入存放.whl文件的目录中,运行:
pip install xxxxxxx.whl
完成后再运行
pip install scrapy
试试,这次应该就没有问题了
创建一个scrapy项目试试:
在打算存储代码的目录中运行cmd
scrapy startproject xxx(项目名)
运行scrapy项目:
scrapy crawl xxx(对应的爬虫名)