这一关属于进阶关，难度相比前面提高了不少，所以花费的时间也多了一些。
本关的学习内容主要为：如何编写函数；数据处理：dplyr, ggplot2；如何编写业务模块；代码如何调试。
1.如何编写函数
1.1 自编函数模板
my_fun <- function(arg1,arg2,...){
body
ruturn(data)
}
例如下面，若add(1,2)，结果z=3
add <- function(x,y) {
z <- x+y
return(z)
}
1.2 控制语句-循环和条件
1.2.1 for 循环的基本模板
for(i in data){
body
}
假设有一项重复性工作，如下：
library(stringr)
print(str_c("第几次吃饭",1,sep=":"))
print(str_c("第几次吃饭",2,sep=":"))
print(str_c("第几次吃饭",3,sep=":"))
重复去写1,2,3,...会很麻烦，我们可以用for循环来简化：
for(i in 1:3) {
print(
str_c("第几次吃饭",i,sep=":")
)
}
1.2.2 while循环的基本模板
while (condition){
body
}
例如：
i <- 10
while(i>0){
print(
i <- i-1)
}
注意：while 一定要有循环结束的判断条件，否则会无限循环下去。
1.2.3 条件语句的基本模板
if(condition){
body
}else{
body
}
例如钱包内有100，吃饭花费30，余额提醒：
money <- 100
if(money>0){
money <- money-30
print("钱包还有钱，不需要取钱")
}else{
print("钱包没有钱，去取款机吧")
}
再举一个复杂点的例子：饭卡余额1000，每天吃3顿饭，每顿5元，余额低于5元，提示：
everday <- function(eatNumber,money){
for(i in eatNumber){
eatNumber <- str_c("今天吃第几次饭：",i,sep="")
money <- money-5*i
print(money)
print(eatNumber)
}
if(money<5){
print("饭卡没钱了：去银行取钱")
}else{
print("饭卡还有钱：不用去银行")
}
}
2.数据处理-dplyr、ggplot2
dplyr是一套数据处理工具，它提供了多个函数来帮助你完成常见的数据处理工作：
- mutate()函数对已有列进行数据运算并添加为新列，类似transform()
- select()根据列名选择出需要的子集
- filter()基于数值挑选对象，可以按给定的逻辑条件筛选符合要求的子数据集
- summarise()对数据框调用函数进行汇总操作, 返回一维的结果
- arrange()按给定的列名依次对行进行排序，默认为升序，类似order()
ggplot2是R中重要的绘图工具： - ggplot2的核心理念是将绘图与数据分离，数据相关的绘图与数据无关的绘图分离
- ggplot2是按图层作图
- ggplot2保有命令式作图的调整函数，使其更具灵活性
- ggplot2将常见的统计变换融入到了绘图中。
接下来，我们利用一个例子，来深入学习这两个包。
2.1 数据分析流程
数据预分析步骤：理解数据-数据导入-数据预处理-数据计算-数据显示。
2.1.1 数据导入
首先加载包和数据集。
install.packages("dplyr")
install.packages("nycflights13")
library(dplyr)
library(nycflights13)
2.1.2 数据预处理步骤
进行数据预处理的步骤：选择子集-列重命名-删除缺失数据-处理日期-类型转换-数据排序。
2.1.2.1 选择子集
确定分析目标：航班航线距离与延误时间的关系
# 查看数据结构
str(flights)
myFlights <- select(flights,year,month,day,
dep_delay,arr_delay,distance,dest)
# select也可以进行模糊匹配
select(data,
starts_with("abc"), #以abc开头
ends_with("xyz"), #以xyz结尾
contains("ijk"), #包含ijk
matches("(.)\\1")) #正则表达式，字符或数据匹配
2.1.2.2 列名重命名
myFlights <- rename(myFlights,destination=dest)
#tips：新列名在前，旧列名在后
2.1.2.3 删除缺失数据
myFlights <- filter(myFlights,!is.na(dep_delay),!is.na(arr_delay))
filter()更多用法：
# 查找数据
filter(myFlights,month==12,day==25) #查找12.25的航班
filter(myFlights,arr_delay>120|dep_delay>120) #延误超2h的航班
2.1.2.4 数据排序
这里我们用的是dplyr中的arrange()函数，默认为升序，desc()让表示降序。
arrange(myFlights,dep_delay)
arrange(myFlights,desc(dep_delay))
2.1.3 数据计算
用dplyr包的分组函数group_by(）和组合函数summarise()来进行计算。
数据处理的一般模式： Split(数据分组) - Apply(应用函数) - Combine(组合结果)
# 按照目的地进行分组
by_dest <- group_by(myFlights,destination)
# 求平均到达延误时间和平均航行里程
delay <- summarise(by_dest,
count=n(), #航班数-每个分组有多少数据
dist=mean(distance,na.rm = TRUE),
delay=mean(arr_delay,na.rm=TRUE))
# 移除噪音数据--移除样本数量较小的数据
delay <- filter(delay,count>20)
以上的过程，可以利用管道：%>% 进行简化
delays <- flights%>%
group_by(dest)%>%
summarise(
count=n(),
dist=mean(distance,na.rm = TRUE),
delay=mean(arr_delay,na.rm = TRUE)
)%>%
filter(count>20)
2.1.4 数据显示
数据显示要用到绘图包ggplot2，ggplot()是一个图层一个图层来绘制图形的，用其中的加号"+"来结合各个图层，ggplot2绘图的一般模板为：
# ggplot(data = <DATA> ) + #创建画板
# <GEOM_FUNCTION>(mapping=aes( <MAPPINGS>)) #添加图层
应用到本实例中，ggplot()括号内的参数是要使用的数据，然后是geom_point(mapping = aes(x = dist, y = delay))，这是用来绘制散点图的，x轴为距离dist，y轴为延迟时间delay。 geom_smooth(mapping = aes(x = dist, y = delay))用来给图加入平滑的曲线，以展示x和y的关系。
ggplot(data=delay)+
geom_point(mapping = aes(x=dist,y=delay))+
geom_smooth(mapping = aes(x=dist,y=delay))
3.如何编写业务模块
3.1 模块介绍
一个项目通常会有以下几个模块：
- 视图模块(view)：数据显示的实现代码
- 业务逻辑模块(service)：数据处理的代码
- 数据层模块(db)：数据分析要连接的数据库
各个模块的文件会放在相同名字的文件夹里面，根据需要还可以创建其他模块： - 公共模块(util)：放项目的公共材料，比如项目的配置信息
- 公共数据(data)：数据分析用到的数据
- 日志模块(log)：数据处理流程
- 数据输出模块(output)：放数据分析的结果，比如绘制的图形和Excel文件等
例如本例中，util里的packageManager.R代码：
#管理安装包
# 数据包
packages <- c("nycflights13")
if (length(setdiff(packages, rownames(installed.packages()))) > 0) {
install.packages(setdiff(packages, rownames(installed.packages())))
}
#字符串包
packages <- c("stringr")
if (length(setdiff(packages, rownames(installed.packages()))) > 0) {
install.packages(setdiff(packages, rownames(installed.packages())))
}
#图形包
packages <- c("ggplot2")
if (length(setdiff(packages, rownames(installed.packages()))) > 0) {
install.packages(setdiff(packages, rownames(installed.packages())))
}
#数据处理包
packages <- c("dplyr")
if (length(setdiff(packages, rownames(installed.packages()))) > 0) {
install.packages(setdiff(packages, rownames(installed.packages())))
}
3.2 业务逻辑模块
在业务逻辑模块的文件夹(service)里创建R脚本flight.R：
install.packages("dplyr")
install.packages("nycflights13")
library(dplyr)
library(nycflights13)# for data
#航班航行距离与延误时间的关系
#输入：不需要输入参数
#输出：返回每个目的地的平均航行距离，平均延误时间
disDelay <- function(){
#选择子集
myFlights <- select(flights,
year,month,day,
dep_delay,arr_delay,
distance,dest)
#列名重命名，等号左边是新列名，右边是就列名
myFlights <- rename(myFlights, destination = dest)
#删除缺失数据，这里的空值NA代表航班取消
myFlights <- filter(myFlights,
!is.na(dep_delay),
!is.na(arr_delay))
#数据排序
myFlights <- arrange(myFlights, desc(dep_delay))
#数据计算：航班航行距离与延误时间的关系
delay <- myFlights %>%
group_by(destination) %>%
summarise(
count = n(),
dist = mean(distance, na.rm = TRUE),
delay = mean(arr_delay, na.rm = TRUE)
) %>%
filter(count > 20)
return(delay)
}
3.3 视图模块
在视图模块文件夹(view)里把前面的数据显示实现代码(flightView.R)存入：
library(ggplot2)
library(stringr)
#获取当前项目运行根路径
projectPath <- getwd()
#获取service路径
servicePath <- str_c(projectPath,
"service",
"flight.R",
sep="/")
#编译R文件，利用source()调用外部代码并运行
source(servicePath)
#业务逻辑：航班航行距离与延误时间的关系
delay <- disDelay()
#绘制散点图
view <- ggplot(data = delay) +
geom_point(mapping = aes(x = dist, y = delay)) +
geom_smooth(mapping = aes(x = dist, y = delay))
#定义散点图保存路径
outputpath <- str_c(projectPath,"output","delayFlight.jpg",sep="/")
#利用ggsave()来保存散点图到上面的路径中
ggsave(filename=outputpath, plot=view)
4.代码如何调试
Rstudio中的代码搜索功能，例如想知道业务逻辑模块中的disDelay 具体代码，可以双击选中函数-进入函数定义的地方：Rstudio-Code-Go to Function Definition。
一个简单的代码调试过程：
代码出现错误-错误在哪块代码-理解错误代码大概什么意思-打断点(stop)-编译（source）-重新执行代码-找到错误原因。
写的比较简单，大家可以找一些参考资料学习。
