原文链接：https://zhuanlan.zhihu.com/p/98747651
想要进行数据分析，首先就是要有数据。那么数据如何获取呢？
当然网上有各种公开的数据或者数据接口，例如政府公开的数据，企业、公益组织公开的数据等等。
但是并不是所有的数据都能从网上找到，这时候就需要我们写爬虫来爬取数据（自己动手，丰衣足食嘛）。
学习了数据分析，我们最关心的当然是找工作啦。那么这里就以爬取拉勾网的数据分析职位数据作为实战，写一个我们自己的爬虫。
1 准备工作
我们用到的python库有：requests和pandas。requests是最常用的构造和解析http请求的库，pandas是进行数据分析一定会使用的库，提供了数据分析需要使用的各种工具，这里我们使用的是to_csv来存储数据。
抓包工具：为了更好地分析请求，建议下载一个抓包工具（也可以直接通过浏览器的Network进行分析，但是不如使用抓包工具方便），可以把流量进行重放，便于分析。这里使用的是Burp Suite Free Edition，这也是网络安全人员常用的工具。
2 分析请求
打开chrome浏览器，在网页中输入“数据分析“，打开F12。
点击第一条请求，切换到Preview查看json格式化后到响应，发现这就是我们想要找的请求。
3 Python构造请求
切到Headers，提取出我们需要的信息：请求地址Request URL，请求方式POST，请求body中的数据Form Data。这里还需要把Response Headers中的信息一起带到请求的Header中，包括浏览器信息User-agent、跨域相关的Origin、以及Cookie等信息，总之全部带过来。
好了，现在我们构造第一条请求
于是我们获取了第一页的数据。从请求中可以看到，pn是页数，那么把pn从1到最后一页，遍历一遍，是不是就能爬取所有数据呢？结果是不行。当爬取到第6页时，返回结果出错了
原因是没有content这个键值。我们修改下请求，直接打印response
r = requests.post('https://www.lagou.com/jobs/positionAjax.json', headers=headers, params=params, cookies=cookies, data=data)
response = r.json()
print(response)
好吧，说我们操作太频繁。当然不能这么轻易就让我们爬取所有数据啦，因为拉勾网使用了反爬策略。
4 分析反爬策略
如何分析反爬策略呢？
这时候我们的抓包工具就出场了。这里就不介绍具体用法了，网上一堆教程（注意这里是https请求，burp需要导入证书）。
我们用抓包工具抓取第一页和第六页的请求，发送到comparer中进行比较
标红的表示cookie中字段发生了变化，同时body中多了一个sid字段。我们知道，cookie中的字段发生变化，通常需要在response头中使用Set-Cookie来设置。仔细查看历史请求，下面这条请求引起了我们的注意，把它放到repeater中进一步分析
尝试把Cookie置空，在响应中会重新Set-Cookie
由此，我们联想到，是不是当Cookie中某些字段失效的时候，我们只要重新发送这条请求，获取新的Cookie，就可以绕过反爬策略了？我们修改一下代码，并引入pandas来存储结果到csv中
import requests
import time
import pandas as pd
import math
# 获取新的Cookie
def get_cookie():
headers = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Connection': 'keep-alive',
'Upgrade-Insecure-Requests': '1',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
'Sec-Fetch-User': '?1'
}
pre_response = requests.get(
'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/p-city_3?&cl=false&fromSearch=true&labelWords=&suginput=',
headers=headers)
cookies = {
'user_trace_token': '20191221100243-986eaba8-84ce-47bd-804f-6015e977b6e6',
'LGUID': '20190824091904-293ded79-c60d-11e9-a504-5254005c3644',
'JSESSIONID': 'ABAAABAABEEAAJA24A5C810F59E6988A2A3495180E65450',
'index_location_city': '%E4%B8%8A%E6%B5%B7',
'X_HTTP_TOKEN': '42daf4b72327b2813673986751bf5e71415983ed09',
'SEARCH_ID': '74d7631fe0ec4f3fa7badce24c42e3be'
}
# 转成dict
cookie = requests.utils.dict_from_cookiejar(pre_response.cookies)
cookies.update(cookie)
return cookies
# 爬取数据
def get_data(cookies, page):
headers = {
'Origin': 'https://www.lagou.com',
'X-Anit-Forge-Code': '0',
'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest',
'X-Anit-Forge-Token': 'None',
'Sec-Fetch-Site': 'same-origin',
'Sec-Fetch-Mode': 'cors',
'Referer': 'https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput='
}
# url中的参数
params = {
'city': '上海',
'needAddtionalResult': 'false'
}
# body中的参数，第一页和后面页数参数不同
if page == 1:
data = {
'first': 'true',
'pn': '1',
'kd': '数据分析'
}
else:
data = {
'first': 'false',
'pn': page,
'kd': '数据分析',
'sid': '0144b1f08bdc48c8ba656dc8a18b746c'
}
r = requests.post('https://www.lagou.com/jobs/positionAjax.json', headers=headers, params=params, cookies=cookies,
data=data)
response = r.json()['content']['positionResult']
result = response['result']
# dict转成dataFrame
response_to_df = pd.DataFrame.from_dict(result)
global df
# 添加到全局df中
df = df.append(response_to_df, ignore_index=True)
# 获取总页数
total_page = math.ceil(response['totalCount'] // response['resultSize'])
# 返回是否已经最后一页，用来跳出循环
return page >= total_page
# 初始获取Cookie
cookies = get_cookie()
# 初始化页数
page = 1
# 创建DataFrame，用于存储数据
df = pd.DataFrame()
# 循环，直到最后一页
while (1):
if page % 4 == 0:
cookies = get_cookie()
end = get_data(cookies=cookies, page=page)
if end:
break
else:
page += 1
time.sleep(5)
# 默认encoding=utf-8会导致excel打开乱码
df.to_csv('lagou.csv', sep=',', header=True, encoding='GBK')
与数据分析相关的还有数据挖掘，我们也来爬一下，一共389条数据
至此，我们完成了第一个爬虫，获取了拉勾网上数据分析相关职位的数据。
数据得到了，下一节将会对爬取到的数据进行分析。
