准备材料:python3.7 、MongoDB window版本4.4、studio-3t-x64、微博爬虫源码
参考视频:https://www.bilibili.com/video/BV1Y64y1u7JN
1.下载及安装MongoDB
1.1下载:https://www.mongodb.com/try/download/community
1.2安装
1.2.1安装教程
官方安装教程:https://docs.mongodb.com/manual/tutorial/install-mongodb-on-windows/
图文安装教程:https://www.cnblogs.com/minily/p/9431609.html
1.2.2注意事项
安装过程还是比较简单的,有两个点稍微提醒一下。
a.如果你的安装路径是在C:\Program Files下的,在cmd(命令提示符)中输入路径的时候会存在空格,系统识别的时候可能会只识别到C:\Program,那么在引用绝对路径的时候需要加双引号即"C:\Program Files"\,所以为了方便起见可以将文件安装在单独的目录中。如C:\MongoDB
b.在安装的时候不要选择安装mongoDB compass ,因为安装这个会比较影响安装时间,我同学安装了一个多小时。
1.3配置
其实有点困惑,我看网上下载的一些教程,教程中的安装后的目录中并无data文件,或者里面是空文件,我按照教程新建db文件后,总是显示NETWORK shut down :going to close listening,查了网上的资料,说是因为异常关闭导致lock文件未删除,但是我重新安装甚至在别人的电脑上安装出现相同的问题。我后来删除了一整个data文件夹再重新新建就好了。
2.下载并安装studio-3t
下载地址:https://studio3t.com/download/#windows
这个下载下来就是一个可执行文件不细述
2.1 配置
一般直接点默认就好(默认端口27017)
connect->save
3.下载爬虫源码
下载地址:https://github.com/nghuyong/WeiboSpider
这个代码有两个分支,我选择的是sample。解压之后用pychram打开(当然也可以用cmd命令直接打开)
输入如下代码
cd C:\Users\AIR\Desktop\WeiboSpider\weibospider #将路径换为爬虫代码所在的文件夹
python run_spider.py user #运行代码,这里带py文件后跟着user相当于调用user.py文件 mode= sys.argv[1]