今天水公众号发现一个神器Pandas的pd.read_html()函数用来写爬虫可以轻松爬取电影票房数据、世界大学排行榜数据、财经数据等等网站上的表格样数据。
参考学习资料：
天秀！Pandas还能用来写爬虫？
作者选择了金融数据来做例子，原代码如下：
import pandas as pd
df = pd.DataFrame()
for i in range(6):
url = 'http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}'.format(page=i+1)
df = pd.concat([df,pd.read_html(url)[0]])
print("第{page}页完成~".format(page=i+1))
df.to_csv('./data.csv', encoding='utf-8', index=0)
整个过程不需要用到正则表达式或者xpath等工具，短短的几行代码就可以将数据嗖嗖地爬下来了，确实超级无敌方便。
那就实验一次吧。
额，太久没有学习python的相关知识了，第一关就卡了，新安装的pycharm没有安装padas库呀，并且安装过程出现了一个报错。
那就只能搜索了，搜到一个类似的帖子：
https://blog.csdn.net/weixin_42840933/article/details/85308265
根据这个帖子找到解决方法。
首先我的电脑安装的是Python3.8，直接用pip install 会报错
Last login: Wed Apr 1 21:36:15 on console
Cheng-MBP:~ chelsea$ pip install pandas -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
-bash: pip: command not found
Cheng-MBP:~ chelsea$ pip3 install pandas
Collecting pandas
Downloading https://files.pythonhosted.org/packages/e9/97/63740ed74af57e00f07fab6a9c6baa4a592d28d254c0f9877901ccb12d3d/pandas-1.0.3-cp38-cp38-macosx_10_9_x86_64.whl (10.2MB)
|██████████████▍ | 4.6MB 5.6kB/s eta 0:16:42
pip和pip3的区别
其实这两个命令效果是一样的，没有区别：
比如安装库pandas，pip3 install pandas或者pip install pandas：只是当一台电脑同时有多个版本的Python的时候，用pip3就可以自动区分用Python3来安装库。是为了避免和Python2发生冲突的。
如果你的电脑只安装了Python3，那么不管用pip还是pip3都一样的。
安装了python3之后，会有pip3
（1）使用pip install XXX ：
新安装的库会放在这个目录下面：python2.7/site-packages
（2）使用pip3 install XXX ：
新安装的库会放在这个目录下面：python3.8/site-packages
（3）如果使用python3执行程序，那么就不能importpython2.7/site-packages中的库。
python的库安装也需要设置镜像
python国内网络的问题，需使用国内的镜像源来加速。
有提示可以通过如下代码设置
pip install 包名 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
这个是豆瓣源的镜像
--trusted-host pypi.douban.com这个参数设置是为了获得ssl证书的认证，要不然会报错
python的库安装镜像源，和R语言的清华镜像类似；
查了一些资料找到如下介绍：
1.用easy_install和pip来安装第三方库很方便
它们的原理其实就是从Python的官方源https://pypi.python.org/pypi 下载到本地，然后解包安装。 不过因为某些原因，访问官方的pypi不稳定，很慢甚至有些还时不时的访问不了。
2.常见国内镜像源
http://pypi.douban.com/simple/ 豆瓣
http://mirrors.aliyun.com/pypi/simple/ 阿里
http://pypi.hustunique.com/simple/ 华中理工大学
http://pypi.sdutlinux.org/simple/ 山东理工大学
http://pypi.mirrors.ustc.edu.cn/simple/ 中国科学技术大学
3.配置成默认
使用方法：sudo pip install -i http://pypi.douban.com/simple/ flask
要配制成默认的话，需要创建或修改配置文件（linux的文件在~/.pip/pip.conf，windows在%HOMEPATH%\pip\pip.ini），修改内容为：
[global]
index-url = http://pypi.douban.com/simple
macOS修改默认python版本操作：
Cheng-MBP:~ chelsea$ which python3
/Library/Frameworks/Python.framework/Versions/3.8/bin/python3
Cheng-MBP:~ chelsea$ alias python="/Library/Frameworks/Python.framework/Versions/3.8/bin/python3"
Cheng-MBP:~ chelsea$ source ~/.bash_profile
Cheng-MBP:~ chelsea$ python
Python 3.8.1 (v3.8.1:1b293b6006, Dec 18 2019, 14:08:53)
[Clang 6.0 (clang-600.0.57)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>
因为暂时没有找到Mac的全局设置方式：直接在安装后面接镜像地址也可以安装：
Cheng-MBP:~ chelsea$ pip3 install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting pandas
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/e9/97/63740ed74af57e00f07fab6a9c6baa4a592d28d254c0f9877901ccb12d3d/pandas-1.0.3-cp38-cp38-macosx_10_9_x86_64.whl (10.2MB)
|████████████████████████████████| 10.2MB 148kB/s
Collecting python-dateutil>=2.6.1 (from pandas)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/d4/70/d60450c3dd48ef87586924207ae8907090de0b306af2bce5d134d78615cb/python_dateutil-2.8.1-py2.py3-none-any.whl (227kB)
|████████████████████████████████| 235kB 953kB/s
Collecting numpy>=1.13.3 (from pandas)
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/f2/81/43f7a2c7893a58c0f304b44f4c084a7918ce295a1b6dd9275bcddccb7feb/numpy-1.18.2-cp38-cp38-macosx_10_9_x86_64.whl (15.2MB)
|█████████████▏ | 6.2MB 261kB/s eta 0:00:35
用了清华镜像后下载速度明显加快
安装pandas库的时候系统会同时安装一些依赖的库，跟R包的安装差不多安装成功提示如下：
Installing collected packages: six, python-dateutil, numpy, pytz, pandas
Successfully installed numpy-1.18.2 pandas-1.0.3 python-dateutil-2.8.1 pytz-2019.3 six-1.14.0
现在回到pycharm:
再输入前面的那段代码，pandas已经安装好，下面就不会有波浪线提示了，直接运行查看结果：
/usr/local/bin/python3.8 /Users/chelsea/PycharmProjects/test_pandas/step_01.py
Traceback (most recent call last):
File "/Users/chelsea/PycharmProjects/test_pandas/step_01.py", line 5, in <module>
df = pd.concat([df,pd.read_html(url)[0]])
File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 1085, in read_html
return _parse(
File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 891, in _parse
parser = _parser_dispatch(flav)
File "/Library/Frameworks/Python.framework/Versions/3.8/lib/python3.8/site-packages/pandas/io/html.py", line 848, in _parser_dispatch
raise ImportError("lxml not found, please install it")
ImportError: lxml not found, please install it
Process finished with exit code 1
继续在终端进行安装：
Cheng-MBP:~ chelsea$ pip3 install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting lxml
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/86/e5/3412ef8d7870c4075dcd832298e07f2bfa2c18879aeea5d931f7096f27ba/lxml-4.5.0-cp38-cp38-macosx_10_9_x86_64.whl (4.6MB)
|████████████████████████████████| 4.6MB 130kB/s
Installing collected packages: lxml
Successfully installed lxml-4.5.0
再回到pycharm运行那段代码：
/usr/local/bin/python3.8 /Users/chelsea/PycharmProjects/test_pandas/step_01.py
第1页完成~
第2页完成~
第3页完成~
第4页完成~
第5页完成~
第6页完成~
在工作目录下会出现一个csv文件打开如下所示
第一次成功爬取到数据，开心。
补一个Mac设置镜像的方法https://blog.csdn.net/liushimiao0104/article/details/96475364
