如下是我简单的获取拉钩网异步加载页面信息的过程
获取的是深圳 Python 岗位的所有信息，并保存在Mongo中
（对于异步加载，有的人说是把你要爬页面的信息整个页面先爬下来，保存本地，然后再看有没有你要的东西，有不是异步，没有就是异步；这种方式当然是没有任何问题，但是我的判断方式是，当我点击页面某个位置时，页面的链接并没有变化，而内容却发生了变化，这种我就说它是异步加载，当然，异步加载方式很多，我们要具体网站具体分析）
这个东西完全可以封装成类，各司其职（这里就可以延伸到Scrapy框架） 后面会更新一个使用Scrapy框架抓取信息的教程
当然还有selenium+phantomjs
直接上代码
import requests
import json
import pymongo
headers = {
'Referer':'https://www.lagou.com/jobs/list_Python?px=default&city=%E6%B7%B1%E5%9C%B3',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}
# headers中的Referer参数是必须的，？号之前都是必须的后面可以省略，不会对结果有影响
pagenum = 1
key = 'Python' #这里可以设置一个列表，先抓取页面所有的技术名称，保存起来，然后抓取职位信息的时候循环嵌套遍历
first = 'true'#可以不要，没发现有什么作用
post_data = {'first': first,'kd':key,'pn':pagenum}
#first:代表是不是首页，kd:代表关键字，pn:代表第几页
json_url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0'
#获取json内容
def get_content(post_data):
r = requests.post(json_url,headers=headers,data=post_data)
datas = json.loads(r.text)
return datas['content']
#获取mongo连接
def get_connect():
client = pymongo.MongoClient('localhost', 27017)
lagou = client['panpan']
lagoudt = lagou['lagou']
return lagoudt
#数据写入数据库
def to_mongo(results):
lagou = get_connect()
for result in results:
lagou.insert(
{'positionName' : result['positionName'],
'positionLibles' : ','.join(result['positionLables']),
'workYear' : result['workYear'],
'education': result['education'],
'salary' : result['salary'],
'city' : result['city'],
'financeStage' : result['financeStage'],
'industryField' : result['industryField'],
'createTime' : result['createTime'],
'positionAdvantage' : result['positionAdvantage'],
'companySize' : result['companySize'],
'district' : result['district'],
'companyShortName' : result['companyShortName'],
'companyFullName' : result['companyFullName'],
'firstType' : result['firstType'],
'secondType' : result['secondType'],
'subwayline' : result['subwayline'],
'stationname' : result['stationname'],
'linestaion' : result['linestaion']})
total_page = get_content(post_data)['pageSize'] #总页数
#循环每一页的内容
for page in range(1,total_page+1):
first = 'false'
print(page)#记录当前页码
post_data = {'kd':'Python','pn':page}
data = get_content(post_data)
to_mongo(data['positionResult']['result'])
这明细是一个异步加载的例子，我就不多说了，前面有
图片.png
这个一看就是通过Ajax 实现的异步加载吗，而且Response里返回的JSon内容就是我们需要的呀，直接取不就行了，话不多说，直接看上面代码，有疑问的可以给我留言，我也是刚开始学，有问题的地方，请您指正
图片.png
