0914 Chapter 3 使用dplyr进行数据转换

心好累。。看着和书上的代码一样,不是object not found 就是unexpected symbol等各种error,小白的进化之路还有一段距离啊。。。

mutate()

总是将新列添加在数据集的最后。
mutate(flights_sml, gain = arr_delay - dep_delay, speed = distance / air_time *60 )

mutate(flights_sml, gain = arr_delay - dep_delay, hours = air_time / 60, gainr_per_hour = gain /hours )

常用创建函数

  • 向量输入和输出
    -算数运算符 (向量化的),可与聚集函数结合使用,如x / sum(x),y - mean(y)
  • 模运算符 %/%取整,%%取余
  • 对数函数 log2(),log(),long10()
  • 偏移函数
    lead()和lag()返回一个序列的领先值和滞后值。常与group_by()联合使用
  • 累加和滚动集合
    cumsum(),cumprod(),commin(),cummax()
  • 逻辑比较
  • 排秩
    min_rank, row_number,dense_rank,percent_rank, cume_dist, ntile

p45练习

df1 <- mutate( flights,
dep_hours = dep_time %/% 100, 
dep_minute = dep_time %% 100)

mutate(flights, 
dep_minutes =  df1$dep_hours * 60 + df1$dep_minute  )
df2 <- mutate( flights,
sched_dep_hours = sched_dep_time %/% 100, 
sched_dep_minute = sched_dep_time %% 100)

mutate(flights, 
sched_dep_minutes =  df2$sched_dep_hours * 60 + df2$sched_dep_minute  )

|| 答案: 考虑物业24:00的特殊情况,2400可能是1440分钟,也可能是0分钟。

flights_times <- mutate(flights,
    dep_time_mins = (dep_time %/% 100 * 60 + dep_time %% 100) %% 1440,
    sched_dep_time_mins = (sched_dep_time %/% 100 * 60 + sched_dep_time %% 100) %% 1440
  )

也可以自定义函数,是代码更简洁

time2mins <- function(x) {
  (x %/% 100 * 60 + x %% 100) %% 1440}

flights_times <- mutate(flights,
       dep_time_mins = time2mins(dep_time),
       sched_dep_time_mins = time2mins(sched_dep_time))

感觉 arr_time - dep_time= air_time的,但是实际上 arr_time - dep_time的值大于air_time的值。经过小时的转化就行。
-答案 :飞机经过午夜的话,arr_time<dep_time,结果为负;飞机经过不同的时区也有影响

flights_airtime <- 
  mutate(flights,
         dep_time_min = (dep_time %/% 100 * 60 + dep_time %% 100) %% 1440,
         arr_time_min = (arr_time %/% 100 * 60 + arr_time %% 100) %% 1440,
         air_time_diff = air_time - arr_time + dep_time)

filter(flights_airtime, air_time_diff %% 60 == 0)

通过以下代码,方便观看

df5 <- select(flights, 
dep_time,
sched_dep_time, 
dep_delay)

dep_delay = dep_time - dep_delay
-答案:全部转成分钟后等式也不完全成立,虽然在这个题目中,时区不影响离开时间,但是可能有航班被安排了跨午夜了,

min_rank(desc(flights$dep_delay))

-答案:如果时间一样,比如三个航班是一样的时间,在第一次标记下,第二次第三次不标记。

flights_delayed <- mutate(flights, dep_delay_rank = min_rank(-dep_delay))
flights_delayed <- filter(flights_delayed, dep_delay_rank <= 20)
arrange(flights_delayed, dep_delay_rank)

-5.
返回 Warning message:
In 1:3 + 1:10 :
longer object length is not a multiple of shorter object length
两个长度不同的向量相加时,会自动循环较短的那个

help('Trig')

R提供了cos(x),sin(x),tan(x),
acos(x),asin(x),atan(x),atan2(y, x),
cospi(x),sinpi(x),tanpi(x)

summarize()

summarize() + group_by()→→分组摘要
na.rm,计算前去除缺失值

常用摘要函数

  • 位置度量,median()
  • 分散程度度量 sd()均方差误,IQR()四分位,mad()绝对中位差
    -秩的度量 min(), quantile(x,0.25)找到顺序在25%-75%的,max()
    -定位度量 first(),nth(x,2)和last()
    -计数 n(), sum(!is.na(x))→→计算非缺失值的数量,distinct(x)→→计算唯一值
    -逻辑值的计数和比例 sum(x > 10) 和mean(y == 0)

按多个变量分组

→→ 每次摘要统计都会用掉末尾的变量

取消分组

ungroup

p57练习题

1.

  • 到达延误更重要,因为会影响乘客下一步的行程,造成经济损失

2.

by_dest <- group_by(flights, dest)
summarize(by_dest, count = n())

答案

group_by(dest) %>%
  summarise(n = length(dest))
not_canceled %>%
  group_by(dest) %>%
  summarise(n = n())
not_cancelled %>%
  group_by(tailnum) %>%
  summarise(n = sum(distance))

group_by() + tally() →→→ count()

not_cancelled %>%
  group_by(tailnum) %>%
  tally()

3.

飞机从未起飞,就不会到达;飞机出现空难,能离开不会达到;飞机可能将落到别的地点
更重要的是arr_delay

4. 瞄的答案

canceled_delayed <-
  flights %>%
  mutate(canceled = (is.na(arr_delay) | is.na(dep_delay))) %>%
  group_by(year, month, day) %>%
  summarise(prop_canceled = mean(canceled),
            avg_dep_delay = mean(dep_delay, na.rm = TRUE))

ggplot(canceled_delayed, aes(x = avg_dep_delay, prop_canceled)) +
  geom_point() +
  geom_smooth()

5.

flights %>%
  group_by(carrier) %>%
  summarise(arr_delay = mean(arr_delay, na.rm = TRUE)) %>%
  arrange(desc(arr_delay))

6.?

7.

The sort argument to count() sorts the results in order of n. You could use this anytime you would run count() followed by arrange().

分组新变量(和筛选器)

分组筛选器的作用相当于分组新变量 + 未分组筛选器

p59练习题

剩下的基本都看答案 就不搬运了

1.

会在组内进行操作而不是在整个数据集

2.

flights %>%
group_by(tailnum) %>%
summarise(arr_delay = mean(arr_delay)) %>%
filter(min_rank(desc(arr_delay)) <= 1)

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,491评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,856评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,745评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,196评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,073评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,112评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,531评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,215评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,485评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,578评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,356评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,215评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,583评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,898评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,497评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,697评论 2 335

推荐阅读更多精彩内容