最近想要学习一下关于爬虫的知识,之前一直没有接触过python,就从安装开始吧。
网上有很多关于爬虫的学习资料,站在巨人的肩膀学习起来还是比较容易的,推荐几个不错的教程地址:
1.安装python:
我的系统: win7 64bit. 安装python版本为2.7.7 ---- 【最好用之前的版本避免不必要的麻烦,特别的,Python3.x是不向下兼容Python2.x的,而且依赖和库也是没有完全适配python3.X】
python下载地址:https://www.python.org/downloads/windows/
选择自己需要的版本进行下载安装,我这里选择:
选择安装路径直接下一步安装即可,下一步添加两个路径到Path:
D:\python27;D:\python27\Scripts
(我的路径地址)查看是否安装成功:cmd 输入 python
2.安装pywin32
在windows下,必须安装pywin32,64bit下载地址:http://download.csdn.net/detail/oatnehc/6936037
直接双击安装即可,安装完毕之后验证:
在python命令行下输入
import win32com
(重新打开cmd才生效)
如果没有提示错误,则证明安装成功
3.安装pip
pip下载地址:https://bootstrap.pypa.io/get-pip.py
*** path设置正确时,下载完成后会自动执行下载安装相关文件 ***
或者
*** 下载好之后,选中该文件所在路径,执行下面的命令python get-pip.py
***
执行命令后便会安装好pip,并且同时,它帮你安装了setuptools
验证是否安装成功:comd 输入 pip (重新打开cmd才生效)
4.安装lxml
通过pip安装,很简单只需执行pip install lxml
如果用的是python3.X回报 python 3.4 error: Microsoft Visual C++ 10.0 is required(Unable to find vcvarsall.bat)
的错误,目前我还没有找到解决方案...,所以重新安装了2.X版本。哈哈
//如果2.x中提示 Microsoft Visual C++库没安装,则下载支持的库。下载地址
5.安装pyOPENSSL
这个64bit的资源百度好难找,还是google牛逼...
pyOpenssl下载地址:https://pypi.python.org/simple/pyopenssl/
直接安装即可!
6.安装Scrapy
执行pip install Scrapy
即可。大功告成
验证:cmd -> scrapy