分析电子游戏在各国的销量并使用堆叠柱状图呈现
目标
i业务场景
数据清洗过滤
堆叠柱状图
数据集的样式
数据集的样式: 名称、平台、
import matplotlib.pyplot as plt
import pandas as pd
import os
#比较销量
file_path = '/Users/miraco/PycharmProjects/DataMining/data_pd/video_games_sales.csv'
outpath = './coffee_stat/ouptput'
#os.mkdir 與 os.makedirs 的差別在於 os.makedirs 會遞迴地去建立目錄，也就是說連同中繼的目錄也會一起建立
if not os.path.exists(outpath):
os.makedirs(outpath)
def collect_data():
data_df = pd.read_csv(file_path) #这是二维数组
return data_df
def inspect_data(data_df):
#数据有噪声的时候，读取为保险起见，会被读取成obj类型
print(f'数据一共有{data_df.shape[0]}行, {data_df.shape[1]}列')
print('-----------------------------------------------------')
print('数据预览：')
# 如果想看又怕太多，可以用data_df.head()，只显示前几行
print(data_df.head())
print('-----------------------------------------------------')
print('数据的基本信息：')
# data_df.info()可以看数据类型，字符串看成obj类型，数字会自动读取成float或int
print(data_df.info())
print('-----------------------------------------------------')
print('数据统计信息')
#均值、最大值、最小值啥的
print(data_df.describe())
print('-----------------------------------------------------')
def process_data(data_df):
#数据处理
#处理空值
cln_data_df = data_df.dropna()
#按年份过滤
cond = (cln_data_df['Year'] >= 2005) & (cln_data_df['Year'] <= 2017)
filtered_data_df = cln_data_df[cond].copy() #copy一下，新的数据和原数据断开关联性，否则这是深拷贝
#全球销量 像加字典一样就行了，多加一列，全都是向量化操作
filtered_data_df['Global_Sales'] = filtered_data_df['NA_Sales'] + filtered_data_df['EU_Sales'] + filtered_data_df['JP_Sales'] + filtered_data_df['Other_Sales']
print(f'原始数据有{data_df.shape[0]}记录，处理后的数据有{filtered_data_df.shape[1]}行记录')
return filtered_data_df
def analyze_data(data_df):
# 取全球销量前20进行查看
top20_games = data_df.sort_values(by = 'Global_Sales', ascending = False).head(20)
# 全球销量大于500W的数据
filtered_data_df = data_df[data_df['Global_Sales'] >5]
# 在四个市场中分别对发行商进行求和
sales_cmp_results = filtered_data_df.groupby('Publisher')[['NA_Sales', 'EU_Sales', 'JP_Sales', 'Other_Sales']].sum()
return top20_games, sales_cmp_results
def save_and_show_results(top20_games, sales_cmp_results):
top20_games.to_csv(os.path.join(outpath,'top20_games.csv'), index = False)#保存时候去掉索引，因为pandas 保存时候是默认带有索引的
sales_cmp_results.to_csv(os.path.join(outpath, 'sales_cmp_results.csv')) #这个分组操作不带索引，没事
top20_games.plot(kind = 'bar', x = 'Name', y = 'Global_Sales') #直接画，无需重复调用figure
plt.title('Top20 Game sales (2005 - 2017)')
plt.tight_layout()
plt.savefig(os.path.join(outpath, 'top20_games.png'))
plt.show()
sales_cmp_results.plot.bar(stacked = True) #堆叠柱状图
plt.title('Game sales Comparison(2005 - 2017)')
plt.tight_layout()
plt.savefig(os.path.join(outpath, 'sales_cmp_results.png'))
plt.show()
def main():
#数据获取
data_df = collect_data()
#查看数据信息
inspect_data(data_df)
#数据处理
proc_data_df = process_data(data_df)
#数据分析
top20_games, sales_cmp_results = analyze_data(proc_data_df)
#结果展示
save_and_show_results(top20_games, sales_cmp_results)
if __name__ == '__main__':
main()
运行结果
数据一共有16598行, 9列
-----------------------------------------------------
数据预览：
Name Platform ... JP_Sales Other_Sales
0 Wii Sports Wii ... 3.77 8.46
1 Super Mario Bros. NES ... 6.81 0.77
2 Mario Kart Wii Wii ... 3.79 3.31
3 Wii Sports Resort Wii ... 3.28 2.96
4 Pokemon Red/Pokemon Blue GB ... 10.22 1.00
[5 rows x 9 columns]
-----------------------------------------------------
数据的基本信息：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 16598 entries, 0 to 16597
Data columns (total 9 columns):
Name 16598 non-null object
Platform 16598 non-null object
Year 16327 non-null float64
Genre 16598 non-null object
Publisher 16540 non-null object
NA_Sales 16598 non-null float64
EU_Sales 16598 non-null float64
JP_Sales 16598 non-null float64
Other_Sales 16598 non-null float64
dtypes: float64(5), object(4)
memory usage: 1.1+ MB
None
-----------------------------------------------------
数据统计信息
Year NA_Sales ... JP_Sales Other_Sales
count 16327.000000 16598.000000 ... 16598.000000 16598.000000
mean 2006.406443 0.264667 ... 0.077782 0.048063
std 5.828981 0.816683 ... 0.309291 0.188588
min 1980.000000 0.000000 ... 0.000000 0.000000
25% 2003.000000 0.000000 ... 0.000000 0.000000
50% 2007.000000 0.080000 ... 0.000000 0.010000
75% 2010.000000 0.240000 ... 0.040000 0.040000
max 2020.000000 41.490000 ... 10.220000 10.570000
[8 rows x 5 columns]
-----------------------------------------------------
原始数据有16598记录，处理后的数据有10行记录
图
top20
销量比较
总结
总结
练习
使用堆叠柱状图比较不同来源的 PM2.5数值差异
- 题目描述：
- 添加一列diff用于比较中国环保部和美国使馆检测的PM2.5值的差异（两列数据的绝对值差）
- 找出差别最大的10天的记录
- 使用分组柱状图比较中国环保部和美国使馆检测的每年平均PM2.5的值
题目要求:
使用Pandas进行数据分析及可视化
数据文件：
数据源下载地址：https://video.mugglecode.com/Beijing_PM.csv （数据源与上节课相同）
Beijing_PM.csv，包含了2013-2015年北京每小时的PM2.5值。每行记录为1小时的数据。
共7列数据，分别表示：
- year: 年，2013-2015
- month: 月，1-12
- day: 日，1-31
- hour: 小时，0-23
- season：季度，1-4
- PM_China: 中国环保部检测的PM2.5值
- PM_US: 美国使馆检测的PM2.5值
答案
import os
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
filepath = '/Users/miraco/PycharmProjects/DataMining/data_pd/Beijing_PM.csv'
outpath = '/Users/miraco/PycharmProjects/DataMining/coffee_stat/ouptput'
data = pd.read_csv(filepath).dropna()
data_db = data.copy() #读取数据
data_db['diff'] = abs(data_db['PM_China'] - data_db['PM_US']) #添加差值列
data_diff = data_db.sort_values(by = 'diff', ascending = False).head(10) #找出差别最大的10天的记录
print('看看操作完的数据集\n',data_diff.describe())
for i in range(10):
item = data_diff.iloc[i, :] #逐行取出，这个零行就是数据，标签有但是不占行
print('中美测出的第{}大数据差值，是在{}年{}月{}日{}时，差值为{}'.format(
i+1,
int(item['year']),
int(item['month']),
int(item['day']),
int(item['hour']),
item['diff']
))
year_mean = data.copy().groupby('year')['PM_China','PM_US'].mean()
year_mean.plot(kind = 'bar', stacked = False, width = 0.35)
plt.xticks(np.arange(4), rotation = 0)
plt.title = ['Year mean PM 2.5 statistics from PRC and US']
plt.legend(['by China', 'by US' ],loc = 'best')
plt.tight_layout()
plt.show()
运行结果
看看操作完的数据集
year month ... PM_US diff
count 10.000000 10.000000 ... 10.000000 10.000000
mean 2013.600000 5.900000 ... 199.100000 400.800000
std 0.699206 2.923088 ... 245.649909 89.618698
min 2013.000000 3.000000 ... 31.000000 299.000000
25% 2013.000000 4.000000 ... 47.500000 331.250000
50% 2013.500000 4.000000 ... 90.000000 395.000000
75% 2014.000000 8.000000 ... 171.750000 450.250000
max 2015.000000 12.000000 ... 722.000000 579.000000
[8 rows x 8 columns]
中美测出的第1大数据差值，是在2015年4月15日19时，差值为579.0
中美测出的第2大数据差值，是在2013年8月8日14时，差值为469.0
中美测出的第3大数据差值，是在2014年4月17日1时，差值为453.0
中美测出的第4大数据差值，是在2013年8月14日12时，差值为442.0
中美测出的第5大数据差值，是在2013年12月4日12时，差值为432.0
中美测出的第6大数据差值，是在2014年4月9日19时，差值为358.0
中美测出的第7大数据差值，是在2014年4月13日13时，差值为350.0
中美测出的第8大数据差值，是在2013年8月11日8时，差值为325.0
中美测出的第9大数据差值，是在2014年4月21日9时，差值为301.0
中美测出的第10大数据差值，是在2013年3月18日2时，差值为299.0
图
image.png
