实战项目练习 ---- 链家二手房数据（清洗与合并篇）

前言

现在已经学到了数据规整与合并这一章，为了加深对数据分析的理解接下来需要做个小项目练习一下。

目的

通过项目能够真实的了解到数据分析是做什么的
加深对pandas的熟悉程度
重新梳理一下目前学到的那些基础知识，查缺补漏

前期准备
此次项目准备对2018年北京链家网的二手房数据做一次分析
数据来源：Python数据科学的公众号
工具：暂时还是使用iTerm2，还未找到更合适的开发工具。Sublime Text2目前也在用，这次项目小不打算用这个。

导入数据文件并进行初步观察
这些观察包括了解数据特征的缺失值，异常值，以及大概的描述性统计。

In [10]: lianjia_df = pd.read_csv('lianjia/lianjia.csv')

# 先查看前5行数据
In [11]: lianjia_df.head(n=5)

In [12]: display(lianjia_df.head(5))
  Direction District Elevator  Floor    Garden            Id Layout   Price Region Renovation   Size  Year
0        东西      灯市口      NaN      6  锡拉胡同21号院  101102647043   3室1厅   780.0     东城         精装   75.0  1988
1        南北       东单      无电梯      6     东华门大街  101102650978   2室1厅   705.0     东城         精装   60.0  1988
2        南西      崇文门      有电梯     16     新世界中心  101102672743   3室1厅  1400.0     东城         其他  210.0  1996
3         南      崇文门      NaN      7    兴隆都市馨园  101102577410   1室1厅   420.0     东城         精装   39.0  2004
4         南      陶然亭      有电梯     19    中海紫御公馆  101102574696   2室2厅   998.0     东城         精装   90.0  2010

In [14]: lianjia_df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 23677 entries, 0 to 23676
Data columns (total 12 columns):
Direction     23677 non-null object
District      23677 non-null object
Elevator      15440 non-null object
Floor         23677 non-null int64
Garden        23677 non-null object
Id            23677 non-null int64
Layout        23677 non-null object
Price         23677 non-null float64
Region        23677 non-null object
Renovation    23677 non-null object
Size          23677 non-null float64
Year          23677 non-null int64
dtypes: float64(2), int64(3), object(7)
memory usage: 2.2+ MB

可以很直接的看到Elevator的值存在着大量的缺失，那先对缺失数据做处理。这里其实可以做填充，因为正常情况下楼层高于6层的都会有电梯，相反则没有。

In [71]: lianjia_df['Elevator'].value_counts()
Out[71]:
有电梯    9342
无电梯    6078
精装       11
毛坯        7
简装        2

看到在Elevator中存在精装、毛培等异常值，先删除

In [75]: lianjia_df['Elevator'] = lianjia_df.loc[(lianjia_df['Elevator'] == '有电梯') | (lianjia_df['Elevator']=='无电梯'), 'Elevator']

In [76]: lianjia_df['Elevator'].value_counts()
Out[76]:
有电梯    9342
无电梯    6078   # 总共23000多条数据，这里明显不够，说明有大量空缺值
Name: Elevator, dtype: int64

再填充电梯情况：

# 这里要直接修改数据了，所以先copy一下
In [90]: df = lianjia_df.copy()

In [91]: df.loc[(df['Floor'] > 6) & (df['Elevator'].isnull()), 'Elevator'] = '有电梯'

In [92]: df.loc[(df['Floor'] <=6) & (df['Elevator'].isnull()), 'Elevator'] = '无电梯'

In [96]: df['Elevator'].value_counts()
Out[96]:
有电梯    14025
无电梯     9652
# 现在

现在空缺值处理完成了，接下来检查下有没有异常值情况：

In [14]: lianjia_df_dorped.describe()
Out[14]:
              Floor            Id         Price          Size          Year
count  15440.000000  1.544000e+04  15440.000000  15440.000000  15440.000000
mean      13.037435  1.011023e+11    622.969326     99.059909   2001.132124
std        7.651691  5.934382e+05    411.791294     47.552860      8.804468
min        1.000000  1.010886e+11     68.500000      2.000000   1950.000000
25%        6.000000  1.011022e+11    378.000000     66.000000   1997.000000
50%       11.000000  1.011024e+11    510.000000     89.000000   2003.000000
75%       18.000000  1.011026e+11    730.000000    119.250000   2007.000000
max       57.000000  1.011028e+11   6000.000000   1019.000000   2016.000000

虽然不大清楚北京有没有价值6000万的房子，但是2平方以及1019平方的房子这个肯定是不现实的。看一下数据情况：

In [17]: df.loc[df['Size'] < 20]
Out[17]:
      Direction District Elevator  Floor   Garden            Id Layout   Price Region Renovation  Size  Year
134           西       沙河      有电梯     17   北街家园七区  101102651491   1室1厅   180.0     昌平         简装  19.0  2010
1168   240.97平米       长阳       毛坯      5     世茂维拉  101102253577   叠拼别墅  1080.0     房山         南北   5.0  2015
1458   242.78平米       长阳       毛坯      5     世茂维拉  101102217569   叠拼别墅  1100.0     房山         南北   5.0  2015
1797   242.96平米       长阳       精装      5     世茂维拉  101101911559   叠拼别墅   980.0     房山         南北   5.0  2015
2268   295.88平米     顺义其它       精装      4    龙湖好望山  101102431983   叠拼别墅  1000.0     顺义         南北   4.0  2014
2274   295.01平米     顺义其它       精装      4     鹭峯国际  101102300614   叠拼别墅  1450.0     顺义         南北   5.0  2014
2276   292.31平米     顺义其它       毛坯      3    龙湖好望山  101102013095   叠拼别墅   860.0     顺义         南北   4.0  2014
2432   294.42平米     顺义其它       精装      5    龙湖好望山  101101141445   叠拼别墅   980.0     顺义         南北   6.0  2013
4078    427.5平米      西红门       精装      3    鸿坤林语墅  101102023530   叠拼别墅  3150.0     大兴         南北   4.0  2015
4079    361.8平米      西红门       精装      4    鸿坤林语墅  101102460862   叠拼别墅  2380.0     大兴         南北   4.0  2015
4761   386.83平米      西红门       精装      3    鸿坤林语墅  101102411099   叠拼别墅  2700.0     大兴         南北   5.0  2015
7533   107.93平米      回龙观       简装      4   龙城花园N区  101101993058   叠拼别墅   620.0     昌平         南北   2.0  1997
8765   195.32平米     通州其它       毛坯      6     旭辉御锦  101102638903   叠拼别墅   780.0     通州         南北   5.0  2014
9020   259.87平米     通州其它       精装      6     旭辉御锦  101101801342   叠拼别墅  1120.0     通州         南北   4.0  2014
9080   259.76平米     通州其它       毛坯      6     旭辉御锦  101102046256   叠拼别墅  1050.0     通州         南北   4.0  2014
9203   260.07平米     通州其它       精装      6     旭辉御锦  101102490792   叠拼别墅  1050.0     通州         南北   4.0  2014
9254    264.6平米     通州其它       毛坯      6     旭辉御锦  101102440907   叠拼别墅  1100.0     通州         南北   4.0  2014
11531  335.51平米       丽泽       毛坯      6     西宸原著  101102306757   叠拼别墅  4000.0     丰台         南北   4.0  2016
14298  266.61平米       西山       精装      3   中间建筑一区  101101869900   叠拼别墅  1350.0     海淀         南北   8.0  2007
15334  203.73平米       西山       简装      4  西山美墅馆F区  101102520575   叠拼别墅  2200.0     海淀         南北   4.0  2004
17311   523.4平米      大望路       精装      5     首府官邸  101102432328   叠拼别墅  4500.0     朝阳         南北   5.0  2007
22350         南       东四      有电梯      3    华人一品阁  101101915230  1房间1卫    90.0     东城         简装  16.0  2006
22393         南       东四      有电梯      3    华人一品阁  101101915213  1房间1卫    90.0     东城         简装  16.0  2006

我觉得16平的房子应该会有，但是小于10平方的房子肯定是异常数据，删掉！

In [30]: df = df[df['Size'] > 10]

In [32]: df.describe()
Out[32]:
              Floor            Id         Price          Size          Year
count  15420.000000  1.542000e+04  15420.000000  15420.000000  15420.000000
mean      13.048314  1.011023e+11    621.608067     99.182490   2001.117639
std        7.650579  5.936816e+05    408.445645     47.461617      8.799356
min        1.000000  1.010886e+11     68.500000     16.000000   1950.000000
25%        6.000000  1.011022e+11    377.750000     66.000000   1997.000000
50%       11.000000  1.011024e+11    510.000000     89.000000   2003.000000
75%       18.000000  1.011026e+11    730.000000    120.000000   2007.000000
max       57.000000  1.011028e+11   6000.000000   1019.000000   2016.000000

同样平方大的离谱的异常值也要删除

In [34]: df.loc[df['Size'] > 1000]
Out[34]:
     Direction District Elevator  Floor   Garden            Id Layout   Price Region Renovation    Size  Year
8754         南     通州其它      有电梯      8  新华联科技大厦  101102019411  1房间0卫  1700.0     通州         简装  1019.0  2009

发现这个大于1000平的是个办公楼，属于异常删掉

In [35]: df = df.loc[df['Size'] < 1000]

Size数据异常的也清理掉了

In [36]: df.describe()
Out[36]:
              Floor            Id         Price          Size          Year
count  15420.000000  1.542000e+04  15420.000000  15420.000000  15420.000000
mean      13.048314  1.011023e+11    621.608067     99.182490   2001.117639
std        7.650579  5.936816e+05    408.445645     47.461617      8.799356
min        1.000000  1.010886e+11     68.500000     16.000000   1950.000000
25%        6.000000  1.011022e+11    377.750000     66.000000   1997.000000
50%       11.000000  1.011024e+11    510.000000     89.000000   2003.000000
75%       18.000000  1.011026e+11    730.000000    120.000000   2007.000000
max       57.000000  1.011028e+11   6000.000000   1019.000000   2016.000000

再看看其他数据有异常或者空缺情况

In [101]: df['Renovation'].value_counts()
Out[101]:
精装    11345
简装     8497
其他     3239
毛坯      576
南北       20
Name: Renovation, dtype: int64

发现在Renovation变量上多了“南北”这种异常数据，删除掉

In [105]: df= df.loc[(df['Renovation'] != '南北')]

In [106]: df['Renovation'].value_counts()
Out[106]:
精装    11345
简装     8497
其他     3239
毛坯      576
Name: Renovation, dtype: int64

检查过后已经没有任何异常数据和空缺值了。

总结

最大的感触是还是得使用个编辑器，否则一不小心改错数据后又得重头再来
检查数据的过程中有很多异常数据会隐藏的很深，光查看概览是不够的还需要去查看变量的统计
有些数据是可以通过其他数据来做填充，如果出现大量数据空缺的情况尽量优先考虑填充而不是清除