1 代码
编程思想：首先获取单一的网页内容，然后使用正则表达式获取页面中我们所需要的内容，接下来把他们保存下来，最后循环获取每页中的内容
1.1 获取单一的网页内容
def get_one_page(url):
headers={
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 ' +
'(KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
}
response=requests.get(url,headers=headers)
if response.status_code==200:
return response.text
return None
向网页发送请求时要带上header头部信息伪装成浏览器，否者网页能够识别出使用的是爬虫，会返回错误。
1.2 获取所需的内容
def parse_one_page(html):
pattern=re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<img data-src="(.*?)".*?</a>.*?title="(.*?)"'
+'.*?</p>.*?"star">(.*?)</p>.*?releasetime">(.*?)</p>.*?'
'integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
items=re.findall(pattern,html)
for item in items:
yield {
'index': item[0],
'image': item[1],
'title': item[2],
'actor': item[3].strip()[3:],
'time': item[4].strip()[5:],
'score': item[5] + item[6]
}
使用yield函数构造一个生成器，能够避免使用for循环产生的占用内存的问题，只在需要的时候生成需要的字典。
1.3 写入文件
def write_to_json(content):
with open('MRLX.txt','a') as f:
print(type(json.dumps(content)))
f.write(json.dumps(content,ensure_ascii=False)+'\n')
在写入文件的时候，需要吧dict类型，使用json.dumps( )函数转换成str格式，才能避免写入的错误。
1.4 main主体
def main(offset):
url='https://maoyan.com/board/4?offset='+str(offset)
html=get_one_page(url)
for item in parse_one_page(html):
write_to_json(item)
1.5 使用循环获取每页的内容
if __name__ == '__main__':
for i in range(10):
main(offset=i*10)
多线程同时开工
2 json包里面dumps、loads、dump、load的区别
2.1 json.dumps()
json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。
2.2 json.loads()
json.loads()用于将str类型的数据转成dict。
2.3 json.dump()
json.dump()用于将dict类型的数据转成str，并写入到json文件中。下面两种方法都可以将数据写入json文件
2.4 json.load()
json.load()用于从json文件中读取数据。
