问题描述
某公司将新制作一部电影，他们希望通过IMDB的电影数据来了解电影市场，知道什么样的电影辉有比较好的市场。 并且想要通过数据解决以下问题
电影类型是如何随着时间的推移发生变化的？
数据理解
#先导入包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
#首先把数据导入进来
imdb = pd.read_csv('./imdb_10000_movies.csv')
#大概看一下数据是什么样的
#imdb.head(3)
imdb.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 9949 entries, 0 to 9948
Data columns (total 9 columns):
imdb_id 9949 non-null int64
imdb_name 9949 non-null object
item_year 9949 non-null int64
runtime 9949 non-null object
generss 9949 non-null object
rating_num 9949 non-null float64
matescore 9949 non-null object
vote_count 9949 non-null int64
gross 9949 non-null object
dtypes: float64(1), int64(3), object(5)
memory usage: 699.6+ KB
None
在将数据导入以后，首先要对数据进行理解，即知道各个数据所代表的含义。 数据字段含义如下：
- imdb_id : IMDB标识号
- imdb_name : 电影名称
- item_year : 上映时间
- runtime : 播放时长
- generss : 电影类型，最多五项
- rating_num : 评分，10分制
- matescore : 评分，100分制
- vote_count : 投票数
- gross : 票房数据，单位美元
当然，这些数据字段也不是每一个都是我们本次分析所需求的，我们只需要用到所分析的字段就好。 在接下来的过程中，根据所要解决的问题，首先对这些数据进行一个清洗和处理
数据清洗
问题实际上是在探讨电影的类型和时间的关系，所以要对这两个字段进行分析。 而电影的类型并不是一个可以量化的标准，所以要对这些数据进行一些处理。
# 时间有可能出现缺失值，
#首先我们查询缺失了上映日期的是哪一部电影
imdb[imdb.release_date.isnull().values == True]
#然后查询这个电影的上映日期
#填充缺失值
imdb.release_date = imdb.release_date.fillna('2014-06-01')
#把这一个字段的数据转化为时间格式
imdb.release_date = pd.to_datetime(imdb.release_date)
#把上映的年份提取出来,新建一个列
imdb.loc[:, 'year'] = [i.year for i in imdb.release_date]
imdb.head(2)
| imdb_id | imdb_name | item_year | runtime | generss | rating_num | matescore | vote_coun | gross | year | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | The Shawshank Redemption | 1994-01-01 | 142 min | [Crime,Drama] | 9.3 | 80 | 1946580 | $28.34M | 1994 |
| 1 | 2 | The Dark Knight | 2008-01-01 | 152 min | [Action,Crime,Drama] | 9.0 | 82 | 1918322 | $534.86M | 2008 |
- 可以发现每个电影都有几种类型，我们需要把这些类型单独提出来
- 观察发现电影类型的首字母都是大写的
- 所以使用正则表达式，建立一个提取单词的函数
- 用map函数作用于整列
#导入正则包
import re
#建立函数
def fenge(str):
pattern = re.compile(r'\b[A-Z]\w+') # 查找首字母大写
strr = pattern.findall(str)
return strr
#将函数应用到整列
#再将其添加到原来的数据中
imdb['generss'] = list(map(fenge, imdb.genres))
#由于目前解决的是问题1，所以先把这两列单独拿出来计算
q1 = pd.DataFrame({'generss': imdb.generss, 'year':imdb.year})
q1.info()
q1.head(5)
| generss | year | |
|---|---|---|
| 0 | [Crime, Drama] | 1994 |
| 1 | [Action, Crime, Drama] | 2008 |
| 2 | [Action, Adventure, Sci, Fi] | 2010 |
| 3 | [Drama] | 1999 |
| 4 | [Crime, Drama] | 1994 |
#可以发现，电影类型的数据是以列表形式存储的，这不利于我们接下来的运算
#首先把电影类型和年份做成一个新的列表，再重新组合
lis1 = []
lis2 = []
for i in range(len(q1.year)):
for j in q1.generss[i]:
lis1.append(j)
lis2.append(q1.year[i])
q11 = pd.DataFrame({'genress':lis1, 'years':lis2, 'counts':1})
#先简单的看一下数据情况
#可以发现我们成功的分离了电影类型
q11.head(8)
| counts | genress | years | |
|---|---|---|---|
| 0 | 1 | Crime | 1994 |
| 1 | 1 | Drama | 1994 |
| 2 | 1 | Action | 2008 |
| 3 | 1 | Crime | 2008 |
| 4 | 1 | Drama | 2008 |
| 5 | 1 | Action | 2010 |
| 6 | 1 | Adventure | 2010 |
| 7 | 1 | Sci | 2010 |
接下来继续去看问题，电影类型是如何通过时间的类型变化的？
- 首先我们看一下电影的类型总数是如何变化的
#对数据进行处理,得出每年份电影总数
q12 = q11.groupby('years').agg(np.sum)
#把年份重新变成列
q12['years'] = q12.index.get_level_values('years')
#绘图
plt.plot(q12.years, q12.counts,'c')
#设置坐标轴范围和标签
plt.axis([1916, 2016, 0, 700])
#坐标轴使用中文
plt.xlabel('时间', fontproperties = 'SimHei', fontsize = 15, color = 'black')
plt.ylabel('电影类型数', fontproperties = 'SimHei', fontsize = 15, color = 'black')
#设置图例和网格
plt.grid()
plt.legend()
plt.show()
电影类型总数随时间变化
- 电影类型随时间变化趋势
q14 = pd.pivot_table(q11, index = ['genress', 'years'], values = ['counts'], aggfunc = np.sum)
#把年份和类型重新变成列
q14['years'] = q14.index.get_level_values('years')
q14['genress'] = q14.index.get_level_values('genress')
#把画布设置大一些
plt.figure(figsize = (20, 10))
#循环画出每一个电影类型随着时间变化的折线图
#list1是之前对电影类型的统计
for i in set(lis1):
plt.plot(q14[q14.genress == i].years, q14[q14.genress == i].counts, label = i)
#label用来设置图例
plt.legend()
#设置标题和坐标轴的字体大小和颜色
plt.title(u'电影类型随时间的变化 ', fontsize = 20, color = 'blue')
plt.xlabel('Release time', fontsize = 20, color = 'blue')
plt.ylabel('counts', fontsize = 20, color = 'blue')
plt.show()
电影类型随时间的变化
