做自然语言处理,最头大的事就是语料不足。尤其是在这个大数据时代,拿着一点点语料都不好意写论文。即使硬着头皮写了,也不会有理想的结果。在这种紧迫的情况下,只能硬着头皮去研究爬虫,大量爬取语料。无意间知道Scrapy,在众人的帮助下,稍微明白了点怎么使用。决定大规模的爬语料,从根本上解决所处尴尬境地。时间紧迫,准备两台电脑同时跑,爬取不同的网页。这就需要在另一台电脑上安装配置Scrapy。按以前的方法一步一步装了一遍,还是没有成功。决定卸掉所有,重新装。这次,决定顺便再这台电脑上把强大的Anaconda也装上吧。百度一搜windows Anaconda,看中了“windows下安装python和依赖包的利器——Anaconda”这篇文章。立马打开,这一下,困扰我一早上的问题迎刃而解,两步解决所有问题
一、下载安装Anaconda
Anaconda下载地址:
http://continuum.io/downloads
下载好之后,双击就Ok了。
二、安装Scrapy
CMD进入命令行,直接输入conda install
scrapy,然后就等着点“y”吧。
装完感觉太爽了。
感谢chenxi_zhuhttp://www.th7.cn/system/win/201502/93336.shtml
感谢Anaconda,
感谢Scrapy。
拥有庞大的语料,指日可待,哈哈哈