完成这些操作主要用到了 BeautifulSoup 和 requests 这两个库，使用之前要提前安装好相应的库。
参考：
Quickstart — Requests 2.18.3 documentation
Beautiful Soup 4.4.0 文档 — beautifulsoup 4.4.0 文档
代码如下：
#!/usr/bin/python3
# -*- coding:utf-8 -*-
from bs4 import BeautifulSoup
import requests,re
#列表第一页的开始地址
ROOT_URL = 'https://movie.douban.com/top250'
def download_html(url):
# 伪装成浏览器
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:54.0) Gecko/20100101 Firefox/54.0'}
return requests.get(url,headers=headers).content
def parse_html(html):
soup = BeautifulSoup(html,'lxml') #创建 BeautifulSoup 对象
movie_list = soup.find('ol',attrs={'class':'grid_view'}) # 定位到每一页的电影列表
result = []
for val in movie_list.find_all('li'):
rank = val.find('em').getText() #每部电影的排名
rating = val.find('span',attrs={'class':'rating_num'}).getText() #评分
#电影介绍，有几部电影是没有简介的（例如《小森林 夏秋篇》），这需要注意
description = val.find('p',attrs={'class':'quote'})
if description:
description = description.find('span').getText()
info = val.find('a') # 提供给以下三行用
url = info['href'] # 电影在豆瓣上的链接
name = info.find('img')['alt'] #电影名
cover = info.find('img')['src'] #电影的封面图片地址
add = {}
add['rank'] = rank
add['rating'] = rating
add['name'] = name
add['cover'] = cover
add['url'] = url
if description:
add['description'] = description
result.append(add)
return result
if __name__ == '__main__':
result = []
with open('result.md','w') as file: #用 markdown 形式保存最终结果
for start in range(0,250,25):
#网址有https://movie.douban.com/top250?start=n&filter= 的规律
# n 从 0 到 225，每次递增 25
url = ROOT_URL + "?start=" + str(start)
# 输出地址，好知道到了那一页
print(url)
html_data = download_html(url)
for val in parse_html(html_data):
# 接下来一行是显示电影封面图片，显示效果不好暂时注释掉
#file.write('\n')
file.write(val['rank']+'. [**'+val['name']+'**]('+val['url']+') ( '+val['rating']+' )\n')
if 'description' in val:
file.write(val['description']+'\n')
最终结果（信息量有点大，暂时只贴上前 20 个结果）
-
肖申克的救赎 ( 9.6 )
希望让人自由。 -
霸王别姬 ( 9.5 )
风华绝代。 -
这个杀手不太冷 ( 9.4 )
怪蜀黍和小萝莉不得不说的故事。 -
阿甘正传 ( 9.4 )
一部美国近现代史。 -
美丽人生 ( 9.5 )
最美的谎言。 -
千与千寻 ( 9.2 )
最好的宫崎骏，最好的久石让。 -
辛德勒的名单 ( 9.4 )
拯救一个人，就是拯救整个世界。 -
泰坦尼克号 ( 9.2 )
失去的才是永恒的。 -
盗梦空间 ( 9.2 )
诺兰给了我们一场无法盗取的梦。 -
机器人总动员 ( 9.3 )
小瓦力，大人生。 -
海上钢琴师 ( 9.2 )
每个人都要走一条自己坚定了的路，就算是粉身碎骨。 -
三傻大闹宝莱坞 ( 9.1 )
英俊版憨豆，高情商版谢耳朵。 -
忠犬八公的故事 ( 9.2 )
永远都不能忘记你所爱的人。 -
放牛班的春天 ( 9.2 )
天籁一般的童声，是最接近上帝的存在。 -
大话西游之大圣娶亲 ( 9.2 )
一生所爱。 -
教父 ( 9.2 )
千万不要记恨你的对手，这样会让你失去理智。 -
龙猫 ( 9.1 )
人人心中都有个龙猫，童年就永远不会消失。 -
楚门的世界 ( 9.0 )
如果再也不能见到你，祝你早安，午安，晚安。 -
乱世佳人 ( 9.2 )
Tomorrow is another day. -
天堂电影院 ( 9.1 )
那些吻戏，那些青春，都在影院的黑暗里被泪水冲刷得无比清晰。
最后我个人不是很想把它称为爬虫，在我看来这更多的是一种批量话的自动操作，能免去很多麻烦，所以没有在标题中提及爬虫这个词。
欢迎评论或者点击喜欢~
来自个人 Python 文集
