比较三种机器学习模型(随机森林,支持向量机,逻辑回归)的分类效果


这是2014年发表在nature communication上的一张图,大意如下:
a:作者想用181个假基因预测癌症亚型,将306个样本分成训练集(223个),验证集(83个)
b: 用训练集的数据(n=223)进行分析,采用五折交叉验证避免过拟合,选用随机森林,支持向量机,逻辑回归三种机器学习方法进行分类。
c: 三种机器学习方法的AUC曲线,发现SVM的效果最好。(AUC=0.962)
d: 用整个训练集(n=223)对验证集(n=83)进行分析,用SVM进行分类,AUC为0.922。
(原文题目:The Pan-Cancer analysis of pseudogene expression reveals biologically and clinically relevant tumour subtypes)

我把这个思路搬运到我的课题里,复现图如下:

相似度:75%。a和b是用AI画的,所以今天分享下c和d的代码

一 差异分析

假设我们有了这样的一个表达矩阵,叫Expr_all。以及表示表型数据的temp (character)。差异分析你可以用DESeq,但本次我就用T检验。


temp
##转置
Expr_all<-t(Expr_all)
##将每列变成numeric
Expr_all[,1]<-as.numeric(Expr_all[,1])
for(i in 2:535){Expr_all[,i]<-as.numeric(Expr_all[,i])}
##T检验
pvalue<-sapply(1:266,function(i){t.test(Expr_all[which(temp=="cancer"),i],Expr_all[which(temp=="normal"),i])[[3]]})
##将T检验得到的P值进行矫正,降低假阳性
pvalue1<-p.adjust(pvalue1)
##挑出P<0.05的基因
t_expr<-Expr_all[,which(pvalue1<0.05)]
t_expr<-as.data.frame(t_expr)
t_expr<-t(t_expr)
t_expr<-cbind(temp,t_expr)

得到的t_expr矩阵如下


t_expr

二 构建三种机器学习模型

1. 划分训练集和验证集

library(randomForest)
library(caret)
library(pROC)
library(caret)
inTrain<-createDataPartition(y=t_expr[,1],p=0.25,list=F)
test<-t_expr[inTrain,]
train<-t_expr[-inTrain,]

2. 构建五折交叉验证RF模型

folds<-createFolds(y=train[,1],k=5)
fc<-as.numeric()
mod_pre<-as.numeric()
for(i in 1:5){
  fold_test<-train[folds[[i]],]
  fold_train<-train[-folds[[i]],]
  model<-randomForest(temp~.,data=fold_train,proximity=T,importance=T)
  model_pre<-predict(model,newdata = fold_test,type="prob")
  fc<-append(fc,as.numeric(fold_test$temp))
  mod_pre<-append(mod_pre,model_pre[,1])
}
df<-cbind(fc,as.numeric(mod_pre))

3. 构建五折交叉验证SVM模型

fc<-as.numeric()
mod_pre<-as.numeric()
for(i in 1:5){
  fold_test<-t_expr[folds[[i]],]
  fold_train<-t_expr[-folds[[i]],]
  model<-svm(temp~.,data=fold_train,probability=T)
  model_pre<-predict(model,newdata = fold_test,decision.values = TRUE, probability = TRUE)
  fc<-append(fc,as.numeric(fold_test$temp))
  mod_pre<-append(mod_pre,as.numeric(attr(model_pre, "probabilities")[,2]))
}
df<-cbind(df,cbind(fc,mod_pre))

4. 构建五折交叉验证LR模型

max=0
num=0
fc<-as.numeric()
mod_pre<-as.numeric()
for(i in 1:5){
  fold_test<-train[folds[[i]],]
  fold_train<-train[-folds[[i]],]
  model<-glm(temp~.,family=binomial(link=logit),data=fold_train)
  model_pre<-predict(model,type='response',newdata=fold_test)
  fc<-append(fc,fold_test$temp)
  mod_pre<-append(mod_pre,as.numeric(model_pre))
}
df<-cbind(df,cbind(fc,mod_pre))

5. 画三者的AUC曲线

pdf("/Users/baiyunfan/desktop/ROC.pdf",height=6,width=6)
mycol <- c("slateblue","seagreen3","dodgerblue","firebrick1","lightgoldenrod","magenta","orange2")
x<-plot.roc(df[,1],df[,2],
            smooth=F,
            lwd=2,
            ylim=c(0,1),
            xlim=c(1,0),
            legacy.axes=T,
            main="",
            col=mycol[2])
x<-plot.roc(df[,3],df[,4],
            smooth=F,
            add=T,
            lwd=2,
            ylim=c(0,1),
            xlim=c(1,0),
            legacy.axes=T,
            main="",
            col=mycol[3])
x<-plot.roc(df[,5],df[,6],
            smooth=F,
            add=T,
            lwd=2,
            ylim=c(0,1),
            xlim=c(1,0),
            legacy.axes=T,
            main="",
            col=mycol[4])

legend.name <- c(paste("RF","AUC",0.9836,sep=" "),paste("SVM","AUC",0.9903,sep=" "),paste("LR","AUC",0.9986,sep=" "))
legend("bottomright", 
       legend=legend.name,
       col = mycol[2:4],
       lwd = 2,
       bty="n")
dev.off()


发现LR的AUC最高,于是单拿出来用整个train对test画

6. 用整个训练集对验证集建立LR模型以及AUC曲线

model<-glm(temp~.,data=train,family=binomial(link=logit))
model_pre<-predict(model,type='response',newdata=test)
pdf("/Users/baiyunfan/desktop/RF.pdf",height=6,width=6)
x<-plot.roc(test[,1],model_pre,
            smooth=F,
            lwd=2,
            ylim=c(0,1),
            xlim=c(1,0),
            legacy.axes=T,
            main="",
            col=mycol[4])
legend.name <- paste("LR","AUC",0.9557,sep=" ")
legend("bottomright", 
       legend=legend.name,
       col = mycol[4],
       lwd = 2,
       bty="n")
dev.off()

AUC掉下来了,0.9557,大家来探讨下为什么吧~

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,302评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,563评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,433评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,628评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,467评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,354评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,777评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,419评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,725评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,768评论 2 314
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,543评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,387评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,794评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,032评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,305评论 1 252
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,741评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,946评论 2 336