Kaggle 教程系列:探索数据

在上一篇文章中,我们通过决策树模型,对机器学习有了初步的认识;但是在整个数据分析的生命周期中,建模并不是第一位的,当我们拿到数据后,首先要对数据进行观察、解读,从中发现我们所需要的特征变量,本文将简要介绍如何通过Pandas对数据进行观察与探索。

Pandas

就像我们前面提到的,任何机器学习、数据分析的第一步都是要先了解数据、解读数据, Pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。它纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。

有了Pandas,我们能快速便捷地处理数据,你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。

通常我们在使用中将pandas缩写为pd,而Numpy缩写为np

import pandas as pd
import numpy as np

Pandas中最重要的部分莫过于DataFrame了,有过数据库基础的读者可以将它视为一个Excel的Sheet或SQL数据表。

Pandas 提供了许多强大的方法供您进行数据操作。

例如,接下来我们将演示如何使用Pandas观察澳大利亚墨尔本的房价数据;Kaggle提供了一套爱荷华州的房价数据供您练习,您可以稍后在练习环境中回顾本文学到的知识。

示例数据路径在:../input/melbourne-housing-snapshot/melb_data.csv

我们通过下面的代码来加载数据:

# 将路径保存到变量,防止多处硬编码
melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'
# 从csv文件中读取数据,保存在名为 melbourne_data的DataFrame中
melbourne_data = pd.read_csv(melbourne_file_path) 
# 输出数据的统计信息,包含无缺数据量,最大值、最小值、均值、标准差,四分位数,下面将会详细介绍。
melbourne_data.describe()
统计输出

解释数据

describe输出了一个8行n列的数据表

count

count行统计了此列共有多少行没有缺失值,即:

某列具有缺失值的行 = 总行数 - count;

出现缺失值可能有很多原因,例如调查1室1厅的房屋时,不会询问是否有第二个卧室。

mean

平均值,即是算术平均值,反应此列特征的一般水平。

std

标准差,反应此列数据的离散程度,一个较大的标准差,代表大部分数值和其平均值之间差异较大;一个较小的标准差,代表这些数值较接近平均值。

min、25%、50%、75%、max

min max分别是最小值和最大值。

25%、50%、75%为四分位数,分位数是将总体的全部数据按大小顺序排列后,处于各等分位置的变量值。如果将全部数据分成相等的两部分,它就是中位数;如果分成四等分,就是四分位数。

  • 第一四分位数 (Q1),又称“较小四分位数”,等于该样本中所有数值由小到大排列后第25%的数字。

  • 第二四分位数 (Q2),又称“[中位数]”,等于该样本中所有数值由小到大排列后第50%的数字。

  • 第三四分位数 (Q3),又称“较大四分位数”,等于该样本中所有数值由小到大排列后第75%的数字。

  • 第三四分位数与第一四分位数的差距又称[四分位距](InterQuartile Range,IQR)。

通过四分位数,可以看出一个变量的分布情况是左偏、右偏或对称分布。

进入练习

点击下面的网址进入练习题,您可能先要注册并登录kaggle

https://www.kaggle.com/kernels/fork/1258954

本练习将测试您读取数据和对数据进行统计观察的能力,对有基础的读者来说,这可能很简单,但本教程是一个循序渐进的过程,后面将会有更多更深入的数据预处理、模型构建、模型改进的练习。

课程中使用了墨尔本的数据,为了保证练习效果,避免直接抄袭课件,您必须使用新的数据集,来自爱荷华州的房价数据。

在此练习中,你要学习使用Notebook编码环境,如果您不熟悉,可以观看一个90秒的介绍视频(有墙)

首先要将这段初始化代码运行一下,鼠标点进去按Shift+Enter,下方显示 Setup Complete,表示执行成功。

# Set up code checking
from learntools.core import binder
binder.bind(globals())
from learntools.machine_learning.ex2 import *
print("Setup Complete")
Setup Complete

如果不执行这段代码,下面的代码将无法执行,例如:

未初始化报错

第一步,加载数据

您需要完善下面的代码,然后按Shift+Enter执行代码,加载数据

import pandas as pd

# Path of the file to read
iowa_file_path = '../input/home-data-for-ml-course/train.csv'

# Fill in the line below to read the file into a variable home_data
home_data = pd.read_csv(_)

# Call line below with no argument to check that you've loaded the data correctly
step_1.check()

step_1.check()会对您的结果进行检查,如果填写正确,将会有绿色的Correct字样

回答正确

当然,如果您不知道怎么做,可以取消下面这段二级提示代码的注释,运行它;其中第一级提示hint()为您讲解需要使用什么技术,第二级提示Solution给出了正确的源代码,如果您只是需要一点技术提示,请先看看hint()的提示是否能够唤起你的记忆。

# Lines below will give you a hint or solution code
# step_1.hint()
# step_1.solution()

例如:

# Lines below will give you a hint or solution code
step_1.hint()
step_1.solution()
二级提示

最后,通过本文,我们了解到Pandas的冰山一角,并且掌握了打开kaggle练习题的正确姿势,为了避免被喷,以后的文章中不再对这部分重复讲解。

原文地址

https://www.kaggle.com/dansbecker/explore-your-data

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容