1.交叉分析
用于分析两个或两个以上，分组变量之间的联系，以交叉表形式进行变量间关系的对比分析。
- 定量 & 定量分组交叉
- 定量 & 定性分组交叉
- 定性 & 定性分组交叉
交叉统计函数
pivot_table(values, index, columns, aggfunc, fill_value)
- values：数据透视表中的值
- index：数据透视表中的行
- columns：数据透视表中的列
- aggfunc：统计函数
- fill_value：NA值的统一替换
import numpy
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/5.4/data.csv'
)
Out[2]:
用户ID 注册日期 身份证号码 性别 出生日期 年龄
0 100000 2011/1/1 15010219621116401I 男 1962/11/16 52
1 100001 2011/1/1 45092319910527539E 男 1991/5/27 23
2 100002 2011/1/1 35010319841017421J 男 1984/10/17 30
3 100006 2011/1/1 37110219860824751B 男 1986/8/24 28
4 100010 2011/1/1 53042219860714031J 男 1986/7/14 28
5 100011 2011/1/1 32012519871028001B 男 1987/10/28 27
6 100012 2011/1/1 23030219930828581I 男 1993/8/28 21
7 100013 2011/1/1 42112619900301477J 男 1990/3/1 24
8 100015 2011/1/1 53012119811002001I 男 1981/10/2 33
9 100016 2011/1/1 21050219890110061C 男 1989/1/10 26
10 100017 2011/1/2 22038219841212024A 女 1984/12/12 30
... ... ... .. ... ..
59100 199501 2011/9/2 42102319931117009A 男 1993/11/17 21
[59101 rows x 6 columns]
bins = [
min(data.年龄)-1, 20, 30, 40, max(data.年龄)+1
]
Out[4]:
[2, 20, 30, 40, 88]
labels = [
'20岁及以下', '21岁到30岁', '31岁到40岁', '41岁及以上'
]
Out[6]:
['20岁及以下', '21岁到30岁', '31岁到40岁', '41岁及以上']
data['年龄分层'] = pandas.cut(
data.年龄,
bins,
labels=labels
)
Out[9]:
用户ID 注册日期 身份证号码 性别 出生日期 年龄 年龄分层
0 100000 2011/1/1 15010219621116401I 男 1962/11/16 52 41岁及以上
1 100001 2011/1/1 45092319910527539E 男 1991/5/27 23 21岁到30岁
2 100002 2011/1/1 35010319841017421J 男 1984/10/17 30 21岁到30岁
3 100006 2011/1/1 37110219860824751B 男 1986/8/24 28 21岁到30岁
4 100010 2011/1/1 53042219860714031J 男 1986/7/14 28 21岁到30岁
5 100011 2011/1/1 32012519871028001B 男 1987/10/28 27 21岁到30岁
6 100012 2011/1/1 23030219930828581I 男 1993/8/28 21 21岁到30岁
7 100013 2011/1/1 42112619900301477J 男 1990/3/1 24 21岁到30岁
8 100015 2011/1/1 53012119811002001I 男 1981/10/2 33 31岁到40岁
9 100016 2011/1/1 21050219890110061C 男 1989/1/10 26 21岁到30岁
10 100017 2011/1/2 22038219841212024A 女 1984/12/12 30 21岁到30岁
... ... ... .. ... .. ...
59100 199501 2011/9/2 42102319931117009A 男 1993/11/17 21 21岁到30岁
[59101 rows x 7 columns]
ptResult = data.pivot_table(
values=['年龄'],
index=['年龄分层'],
columns=['性别'],
aggfunc=[numpy.size]
)
Out[11]:
年龄分层 女 男
20岁及以下 111 1950
21岁到30岁 2903 43955
31岁到40岁 735 7994
41岁及以上 567 886
2.结构分析
在分组及交叉分析的基础上，计算各组成部分所占的比重，进而分析总体的内部特征的分析方法。
主要指定性分组，通过饼图或圆环图进行数据展现。
pandas中进行占比计算，使用groupby计算出分组结果，或pivot_table计算出交叉表的结果之后，如果
还需要继续运算，可使用数据框自带函数计算。
数据框的外运算函数，用于两个数据框之间的运算
| 运算 | 注释 |
|---|---|
| add | 加 |
| sub | 减 |
| multiply | 乘 |
| div | 除 |
数据框的内运算函数，用于数据框自身的运算
| 运算 | 注释 |
|---|---|
| sum | 求和 |
| mean | 均值 |
| var | 方差 |
| sd | 标准差 |
设置axis参数，指定是按列运算还是按行运算
axis参数说明
- 0：按列运算（默认）
- 1：按行运算
import numpy
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/5.5/data.csv'
)
Out[14]:
用户ID 注册日期 身份证号码 性别 出生日期 年龄
0 100000 2011/1/1 15010219621116401I 男 1962/11/16 52
1 100001 2011/1/1 45092319910527539E 男 1991/5/27 23
2 100002 2011/1/1 35010319841017421J 男 1984/10/17 30
3 100006 2011/1/1 37110219860824751B 男 1986/8/24 28
4 100010 2011/1/1 53042219860714031J 男 1986/7/14 28
5 100011 2011/1/1 32012519871028001B 男 1987/10/28 27
6 100012 2011/1/1 23030219930828581I 男 1993/8/28 21
7 100013 2011/1/1 42112619900301477J 男 1990/3/1 24
8 100015 2011/1/1 53012119811002001I 男 1981/10/2 33
9 100016 2011/1/1 21050219890110061C 男 1989/1/10 26
10 100017 2011/1/2 22038219841212024A 女 1984/12/12 30
... ... ... .. ... ..
59100 199501 2011/9/2 42102319931117009A 男 1993/11/17 21
[59101 rows x 6 columns]
bins = [
min(data.年龄)-1, 20, 30, 40, max(data.年龄)+1
]
Out[16]:
[2, 20, 30, 40, 88]
labels = [
'20岁及以下', '21岁到30岁', '31岁到40岁', '41岁及以上'
]
Out[18]:
['20岁及以下', '21岁到30岁', '31岁到40岁', '41岁及以上']
data['年龄分层'] = pandas.cut(
data.年龄,
bins,
labels=labels
)
Out[21]:
用户ID 注册日期 身份证号码 性别 出生日期 年龄 年龄分层
0 100000 2011/1/1 15010219621116401I 男 1962/11/16 52 41岁及以上
1 100001 2011/1/1 45092319910527539E 男 1991/5/27 23 21岁到30岁
2 100002 2011/1/1 35010319841017421J 男 1984/10/17 30 21岁到30岁
3 100006 2011/1/1 37110219860824751B 男 1986/8/24 28 21岁到30岁
4 100010 2011/1/1 53042219860714031J 男 1986/7/14 28 21岁到30岁
5 100011 2011/1/1 32012519871028001B 男 1987/10/28 27 21岁到30岁
6 100012 2011/1/1 23030219930828581I 男 1993/8/28 21 21岁到30岁
7 100013 2011/1/1 42112619900301477J 男 1990/3/1 24 21岁到30岁
8 100015 2011/1/1 53012119811002001I 男 1981/10/2 33 31岁到40岁
9 100016 2011/1/1 21050219890110061C 男 1989/1/10 26 21岁到30岁
10 100017 2011/1/2 22038219841212024A 女 1984/12/12 30 21岁到30岁
... ... ... .. ... .. ...
59100 199501 2011/9/2 42102319931117009A 男 1993/11/17 21 21岁到30岁
[59101 rows x 7 columns]
ptResult = data.pivot_table(
values=['年龄'],
index=['年龄分层'],
columns=['性别'],
aggfunc=[numpy.size]
)
Out[23]:
年龄分层 女 男
20岁及以下 111 1950
21岁到30岁 2903 43955
31岁到40岁 735 7994
41岁及以上 567 886
#按列进行求和
ptResult.sum()
Out[24]:
女 4316
男 54785
dtype: int64
#按列进行求和
ptResult.sum(axis=0)
Out[25]:
女 4316
男 54785
dtype: int64
#按行进行求和
ptResult.sum(axis=1)
Out[26]:
年龄分层
20岁及以下 2061
21岁到30岁 46858
31岁到40岁 8729
41岁及以上 1453
dtype: int64
#按行进行占比计算，不同年龄段的性别占比
ptResult.div(ptResult.sum(axis=1), axis=0)
Out[27]:
年龄分层 女 男
20岁及以下 0.053857 0.946143
21岁到30岁 0.061953 0.938047
31岁到40岁 0.084202 0.915798
41岁及以上 0.390227 0.609773
#按列进行占比计算，不同性别的年龄段占比
ptResult.div(ptResult.sum(axis=0), axis=1)
Out[28]:
年龄分层 女 男
20岁及以下 0.025718 0.035594
21岁到30岁 0.672614 0.802318
31岁到40岁 0.170297 0.145916
41岁及以上 0.131372 0.016172
3.相关分析
研究两个或两个以上随机变量之间相互依存关系的方向和密切程度的方法
- 线性相关：当一个连续变量发生变动时，另一个连续变量相应的呈线性关系变动
- 采用皮尔逊相关系数r的绝对值来度量连续变量之间线性相关强度
| 线性相关系数r（取绝对值）的范围 | 相关程度 |
|---|---|
| 0 ≤ r < 0.3 | 低度 |
| 0.3 ≤ r < 0.8 | 中度 |
| 0.8 ≤ r ≤ 1 | 高度 |
相关分析函数：
- DataFrame.corr()
- Series.corr(other)
函数说明：
- 如果由数据框调用corr方法，将会计算每个列两两之间的相似度
- 如果由序列调用corr方法，只计算该序列与传入的序列之间的相似度
返回值：
- DataFrame调用：返回DataFrame
- Series调用：返回一个数值型，大小为相关度
# -*- coding -*-
import pandas
data = pandas.read_csv(
'/users/bakufu/desktop/5.6/data.csv'
)
Out[31]:
小区ID 人口 平均收入 文盲率 超市购物率 网上购物率 本科毕业率
0 1 3615 3624 2.1 15.1 84.9 41.3
1 2 365 6315 1.5 11.3 88.7 66.7
2 3 2212 4530 1.8 7.8 92.2 58.1
3 4 2110 3378 1.9 10.1 89.9 39.9
4 5 21198 5114 1.1 10.3 89.7 62.6
5 6 2541 4884 0.7 6.8 93.2 63.9
6 7 3100 5348 1.1 3.1 96.9 56.0
7 8 579 4809 0.9 6.2 93.8 54.6
8 9 8277 4815 1.3 10.7 89.3 52.6
9 10 4931 4091 2.0 13.9 86.1 40.6
10 11 868 4963 1.9 6.2 93.8 61.9
#两个列之间的相关度计算
data['人口'].corr(data['文盲率'])
Out[32]:
0.10762237339473261
#多列之间的相关度计算
#选择多列的方法
data[[
'超市购物率', '网上购物率', '文盲率', '人口'
]]
data[[
'超市购物率', '网上购物率', '文盲率', '人口'
]].corr()
Out[33]:
超市购物率 网上购物率 文盲率 人口
超市购物率 1.000000 -1.000000 0.702975 0.343643
网上购物率 -1.000000 1.000000 -0.702975 -0.343643
文盲率 0.702975 -0.702975 1.000000 0.107622
人口 0.343643 -0.343643 0.107622 1.000000
