突然对爬虫有了兴趣，记录一下学习爬虫用到的BeautifulSoup工具。
之前对python只限于安装了编译环境，没有系统学过。
其实简单的爬单网页，对python语法没太大要求，用到了可以网上稍微查询一下就好。
主要是对BeautifulSoup库的使用。使用很简单，这个库真的太牛了！
首先，我们需要安装好环境，和编译器
Python3安装教程网上有很多，就不讲了。
编译器可以用PyCharm，个人感觉挺好用的，虽然我也是个小白。PyCharm官网下载
下面就是具体代码实现
# 必须引入相应工具库
import requests
from bs4 import BeautifulSoup
page_url = '要爬的对象url'
# 自定义headers，可以伪造一个
response = requests.get(page_url, headers=headers)
content = response.content
soup = BeautifulSoup(content, 'html.parser')
tdata = soup.find_all('tr', attrs={"class": "t_tr1"})
for item in tdata:
reds = item.find_all('td', attrs={'class': 't_cfont2'})
for red in reds:
print(red.string)
tds = item.find_all('td', class_=False)
for td in tds:
print(td)
我们用BeautifulSoup工具，获取到页面数据soup对象，用find_all方法，根据页面标签，来查找网页中想要查找的数据。
可以看到tdata就是tr标签的，class属性为t_tr1的数据集合。
在每一项tdata的item中，再进行类似的操作，就可以获取到，我们想要的数据。（具体看网页格式，这个不是固定的）
下面的tds对象，就是获取的所有没有class属性的数据集合，这里可以根据自己的需求，抓取自己想要的数据。
OK，这就是我用BeautifulSoup库，来简单的进行抓取数据，非常简单。只要按照网页格式，进行对应的标签抓取就好。
抓取好的数据，可以制作为Excel表格，或者储存在文件中。
