pandas金融数据分析教程--行业分类分析

前面介绍了pandas的使用和数据获取的基本方法(点此查看)，本篇重点以行业为维度，分析A股的相关趋势，同时介绍相关pandas函数的具体用法。

DataFrame行列操作：concat、merge、pivot_table

倒入相关第三方库

import numpy as np
import pandas as pd
import tushare as ts
import datetime
import matplotlib.pyplot as plt
plt.style.use('seaborn-darkgrid')
plt.rc('font', family='SimHei', size=4)
plt.rc('figure', figsize=(6,3), dpi=200)

首先还是通过tushare获取所需的数据，需要的数据如下：

stock_basic：获取基础信息数据，包括股票代码、名称、上市日期、退市日期等
daily_basic：获取全部股票每日重要的基本面指标

token = 'xxxxxxxxx'
pro = ts.pro_api(token=token)
slist = pro.stock_basic(exchange='', list_status='L', fields='ts_code,symbol,name,area,industry,list_date')
sbasicdf = pro.daily_basic(ts_code='', trade_date=day.strftime('%Y%m%d'))

一口气获取到一定时间范围内的全部基本面指标数据：

end_date = datetime.datetime.now()
day_range = 60 #获取到day_range 天前
day_gap = 1 #间隔天数
date_list = []
for i in range(1,day_range,day_gap):
    cur_date = end_date - datetime.timedelta(days=i)
    if cur_date.weekday() in [5,6]: #去除周末
        continue
    date_list.append(cur_date)
sbasicdfs = pd.concat([
    pro.daily_basic(ts_code='', trade_date=day.strftime('%Y%m%d'))
    for day in date_list
])

上面代码段出现了本篇的第一个知识点，pd.concat函数的使用，即连接相同结构的DataFrame为一个:

pd.concat(dataframe的列表, ...)

默认按行连接，通过第二个参数axis来控制，默认axis=0, axis=1时按列连接

其他注意点：列表推导的使用；datetime正确处理时间...

现在我们有了股票列表（包含行业）slist ，以及股票的基本面数据sbasicdfs, 为了查看不同行业的整体情况，首先需要通过pandas.merge来合并这两项数据；merge的用法点此查看

sm = pd.merge(sbasicdfs, slist, on='ts_code')

合并两个df之后，需要按行业来聚合不同的字段，例如想要查看行业的市值，pe等相关数据：

sm_by_ind = sm.groupby([
    'industry', 
    'trade_date'
]).agg({
    'total_mv': 'sum',
    'turnover_rate': 'mean',
    'turnover_rate_f': 'mean',
    'pe': 'mean',
    'pe_ttm': 'mean',
    'pb': 'mean',
    'dv_ratio': 'mean',
    'ts_code': 'count'
}).sort_values(by='turnover_rate', ascending=True)

sm_by_ind = sm_by_ind.reset_index()

sm_by_ind.trade_date = pd.to_datetime(sm_by_ind.trade_date, format="%Y%m%d")

sm_by_ind.set_index("trade_date", inplace=True)

想要查看按行业市值的历史比较的话，由于不同行业市值差异较大，难以同比，因此需要将数据归一化处理；

# 将行业由行上显示，转换为在列上显示，一列是一个行业的市值历史记录，按时间顺序
pt = pd.pivot_table(sm_by_ind, values='total_mv', columns=['industry'], index=sm_by_ind.index)
# 归一化
for col in sm_by_ind.industry.value_counts().index.values:
    cur_max = pt[col].max()
    cur_min = pt[col].min()
    pt[col] = (pt[col] - cur_min)/(cur_max-cur_min)

最后可以查看任意行业的市值趋势对比了，注意Y轴是归一化的数值

pt[[
   '互联网', '银行'
]].rolling(20).mean().plot(linewidth=0.6)

银行-互联网.png

转载请注明文章来源

最后编辑于：2020.09.29 13:38:53