用理工科思维看待这个世界
崇尚的学习思维是：输入，输出平衡，且平衡点不断攀升。
曾经有大神告诫说：没事别瞎写文章；所以，很认真的写的是能力范围内的，看客要是看不懂，不是你的问题，问题在我，得持续输入，再输出。
今天的主题是：实战爬取电影，并存储至MySQL数据库
1：框架
| 序号 | 目标 | 说明 |
|---|---|---|
| 01 | 抓取目标分析 | -目标是什么 |
| 02 | 分解任务 | -- |
| 03 | MySQL建表操作 | 本地建表 |
| 04 | 实战抓取 | -- |
| 05 | 参考及总结 | -- |
2：目标
任务是：抓取网站数据，存放至MySQL数据库中。
效果显示：抓取的目标存放至本地MySQL数据库
初始URL
url = https://movie.douban.com/top250
字段：
Film : 电影名称
Director: 电影导演
Rates : 评分数
Numbers : 评分人数
Url: 电影链接
Describe: 电影介绍 (网站的一句话，经典台词之类的)
3：任务分解
具体点击网页审查元素：链接
- 字段的正则表达式
电影名称：
Film_pattern = r'<span class="title">(.*?)</span>'
电影导演：
Director_pattern = r'<p class="">(.*?)</p>'
评分数：
Rates_pattern = r'<span class="rating_num" property="v:average">(.*?)</span>'
评分人数：先抓大，再在大的里面匹配所需的文本信息
Number_pattern_large = r'<div class="star">(.*?)</div>'
Number_pattern_small = r'<span>(.*?)</span>'
电影链接：先抓大，再在大的里面匹配所需的文本信息
Urlfilm_pattern_large = r'<div class="hd">(.*?)</div>'
Urlfilm_pattern_small = r'<a href="(.*?)"'
电影介绍：
Describe_pattern = r'<span class="inq">(.*?)</span>'
- URL的分析：
由翻页，自己匹配出网址：(也可以网址抓取)。10页。
urls = ["https://movie.douban.com/top250?start={}&filter=".format(i) for i in range(0,250,25)]
网址分析完成，正则分析完成。任务完成了大半。
4：数据库建表操作
在本地：数据库名为：exercise 下创建一个表名为：douban_film
建表的SQL语法：参照w3school
CREATE TABLE `douban_film` (
`Film` CHAR(32) DEFAULT NULL COMMENT '电影名称',
`Director` CHAR(32) DEFAULT NULL COMMENT '电影导演',
`Rates` FLOAT DEFAULT NULL COMMENT '评分数',
`Number` CHAR(16) DEFAULT NULL COMMENT '评分人数',
`Url` CHAR(128) DEFAULT NULL COMMENT '评分人数',
`Describe` CHAR(128) DEFAULT NULL COMMENT '电影介绍'
) ENGINE=INNODB DEFAULT CHARSET=utf8 COMMENT='豆瓣电影250介绍'
`douban_film`
# 执行sql语句就可以创建一个表，各字段及其属性如上示
5：实战抓取
单独使用正则，会出现很多难以匹配(可能没有尝试其他匹配规则)。需要对网页进行不断的分析。
抓取核心代码：(大神轻拍代码...)
# 网页抓取字段示例
def content_json(self, content):
Film_all = re.findall(self.Film_pattern, content, re.S)
Film = []
for one_film in Film_all:
if " " not in one_film:
Film.append(one_film)
Director_all = re.findall(self.Director_pattern, content, re.S)
Director = []
for one_Director in Director_all:
one = self.str_replace(one_Director)
Director.append(one)
Rates = re.findall(self.Rates_pattern, content, re.S)
Number_large = re.findall(self.Number_pattern_large, content, re.S)
Number = []
for one_number in Number_large:
Number_one = re.findall(self.Number_pattern_small, one_number, re.S)[0]
Number.append(Number_one)
Describe = re.findall(self.Describe_pattern, content, re.S)
Url_largre = re.findall(self.Urlfilm_pattern_large, content, re.S)
Url =[]
for one_url in Url_largre:
Url_one = re.findall(self.Urlfilm_pattern_small, one_url, re.S)[0]
Url.append(Url_one)
Film_collection = []
for Film, Director, Rates, Number, Describe, Url in zip(Film, Director, Rates, Number, Describe, Url):
data = {
"Film": Film,
"Director": Director,
"Rates": Rates,
"Number": Number,
"Describe": Describe,
"Url": Url
}
Film_collection.append(data)
return Film_collection
# 文本匹配会有很多不需要的字段，如下函数实现数据清洗
def str_replace(self, str_one):
str_one_1 = str_one.replace("\n", '')
str_one_2 = str_one_1.replace("<br>", '')
str_one_3 = str_one_2.replace(" ", '')
str_one_4 = str_one_3.replace("\t", "")
str_one_5 = str_one_4.replace(" ", '').strip()
return str_one_5
# 单独写sql语句比较繁琐，如下函数实现JSON格式数据转换成SQL语句
import copy
def json_to_mysql(json_obj, table, sql_type="insert"):
local_copy = copy.deepcopy(json_obj)
if sql_type == "insert":
sql_part1 = "insert into " + table
keys = local_copy.keys()
sql_part2 = "("
for key in keys:
sql_part2 += "`%s`"%(key)
sql_part2 += ","
sql_part2 = sql_part2.rstrip(",")
sql_part2 += ")"
sql_part3 = "("
for key in keys:
sql_part3 += "'" + (local_copy[key]) + "'"
sql_part3 += ","
sql_part3 = sql_part3.rstrip(",")
sql_part3 += ")"
sql = sql_part1 + " " + sql_part2 + " values " + sql_part3
return sql
核心代码已经完成：
整体思路如下：
- 分析首页文本信息的正则表达式
- 抓取首页的字段
- 对字段进行数据的清洗，去掉不需要的信息
- 将数据结构化
- 循环操作
- 获取的全部信息执行sql语句，存入已经建表的MySQL数据库中
完整版代码：完整版代码
另一款数据库可视化工具显示效果：
可知：抓取了243条信息。全站存在250条数据。代码存在Bug...
你懂的。可以继续重构。
6：参考及总结
自勉：
在通往牛逼的路上，别人一定存在许多值得借鉴的地方。
学习学习在学习
实践实践再实践
感谢互联网时代，让学习如此触手可及
关于本人：
国内小硕，半路出家的IT学习者。
兴趣领域：爬虫 ， 数据科学
本人正在构建一个共同成长爬虫小型社群。QQ群:539065787
持续精进。如果理念相似，欢迎加入。
文档及代码托管在Github上。
