一、准备工作
安装requests
pip install requests
二、观察网页信息
1.目标网站-->猫眼电影TOP100,可以看到每页有100个电影，一共有10页，每个电影分别有排名、电影名称、演员、上映时间、评分，这是我们需要得到的信息，并且我们只需要循环10次就好了
2.观察每一页的URL，点击第二页 https://maoyan.com/board/4?offset=10 我们可以看到后面多了个offset=10，依次点击会发现规律20、30.....,那么第一页会是什么呢？我们猜想会不会是https://maoyan.com/board/4?offset=0 使了一下果然ok，那么简单喽
- 构造URL函数
def main(offset):
url='http://maoyan.com/board/4?offset='+str(offset)
html=get_one_page(url)
parser=parser_one_page(html)
for p in parser:
write_to_file(p)
if __name__ == '__main__':
for i in range(10):
main(offset=i*10)
三、构建GET请求
- 既然URL我们已经有了，那么就方便了直接使用requests的get请求
def get_one_page(url):
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
try:
r=requests.get(url,headers=headers)
r.encoding=r.apparent_encoding
if r.status_code==200:
return r.text
return None
except:
print('shibai')
- 这里面我们使用了headers这个参数，（毕竟要给网站点面子）这个是告诉网站你是个什么东西（好像怪怪的），但是确实我使用的是Chrome浏览器和win电脑，如果不设置这个，网站那边直接显示Python程序，也就是个爬虫
四、解析页面
- 经过第三步的操作我们已经得到了一个Response对象，里面包含了我们所需要的信息，那么这步我们就是提取出我们需要的信息，一共有这么几个电影的有排名、电影名称、演员、上映时间、评分，话不多说，上代码
def parser_one_page(html):
partern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
+ '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
item=re.findall(partern,html)
for i in item:
print(i)
yield {
'排名': i[0],
'电影名称': i[1],
'演员': i[2].strip()[3:],
'上映时间': i[3].strip()[5:],
'评分': i[4] + i[5]
}
-
使用正则表达式通用的 （.*?） 来连接标签，匹配我们想要的内容，经过这部分之后会看到控制台依次输出
捕获.JPG
五、保存爬取的电影信息
- 我们经过上一部分已经获得了top100的信息，下面我们来把获得的信息保存起来，我这里是存到本地，也可存到数据库里，感兴趣的可以自己试下
def write_to_file(content):
with open('top100.txt','a',encoding='UTF-8') as f:
f.write(json.dumps(content, ensure_ascii=False) + '\n')
- 这里保存在你程序的文件夹下，名字叫做top100以TXT格式，使用UTF-8编码，每一行加了换行符，使用json.dumps对数据进行编码，但是有个问题，有些文字的ascii 字符码，不是真正的中文，这是因为json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定ensure_ascii=False
全部代码-->猫眼电影TOP100github
六、总结
有这么几个需要注意的地方
- 针对网站的反爬，做好反反爬措施
- 正则表达式一定要写对
- 文件的保存，记得设置ensure_ascii=False
