2017京东登录识别-R代码

2017京东登录识别-R代码

GitHub:https://github.com/hallo128/Compete/tree/master/jd_game

(注:简书的排版不太友好,很多内容没有显示出来,而我也不准备死磕来调格式。如果对代码或者更细致的内容感兴趣的,可以前往上面的GitHub下载这篇完整的PDF,当然了里面也会有数据和代码,也可以练练手)

处理数据前:先用SPSS和Excel进行数据的查看(排序、描述统计、类别数、比例、异常等)

1、代码实现功能介绍

R实现部分,我将主要解释说明,特征构建和结果导出部分;模型构建的话,不限于R语言做出的结果。

构建特征表【时间类型转换、分组统计特征、数据集合并】-训练集、测试集

输入:赛题给定数据.csv

输出:可用于建模的特征表.csv

模型构建【平衡样本、分训练集和验证集、模型(选参数、预测结果)】

输入:用于建模的特征表.csv

输出:测试集的预测数据.csv

结果导出【数据匹配、按指定格式导出】

输入:测试集的预测数据.csv(适用于不同软件做出的结果)

输出:可用于提交的数据.csv

2、构建特征表

1)代码文件:

由于构建特征的时候,我们有过很多思路,按天、按1/4天、按ip,但都是基于一开始的文件演变的。

而且最后结果显示第一个文件的特征说明也比较好,所以我只特别介绍一个文件。

文件2:“构建特征6个小时-训练集.R”、“构建特征6个小时-测试集.R” 

特别地,登录数据“按id,按1/4天”进行切分

文件3:“构建特征6个小时-训练集+ip.R”、“构建特征6个小时-测试集+ip.R”

特别地,在文件2的基础上,添加了ip数据的信息

R编程方法介绍【时间类型转换、分组统计特征、数据集合并】

1、时间类型转换

时间类型转换【字符串-时间戳-取时间】

R语言中可以方便实现这3个内容的相互转换

1)为什么需要转换 

实际记录需要:

很多比赛都会给出时间戳或时刻点,这个指标存在的原因:一方面,是由于系统在记录用户行为的时候,肯定会记录下用户是什么时刻发生了这样的行为;另一方面,很多时候我们考虑和观测到的都是一个随着时间变化的行为,正因为有了时间的记录和排序,从而让我们有可能随着时间来得到有用的信息。

建模构建特征需要:

首先,时间戳有利于你将数据按时间排序。

其次,时间戳便于你提取时间特征(年、月、日、小时、分钟、周)

最后,时间戳便于计算时间差(只需要2个时间戳相减)和平均时刻

(2)R语言如何实现

R语言中重点介绍2个函数:as.POSIXct()和strptime(),下面是这2个函数的具体使用方法

2、分组统计特征

这个内容对于经常使用数据库,写SQL语言的同学,应该不陌生。写R代码时,查到过好几包,目前我选择了dplyr。接下来我将说明它的具体用法。 

(1)步骤:

先把需要分组的关键字转换为“因子型”

group_by()——数据没有变化,为第三步做准备

对第二步的数据集调用summarise(),可以进行的统计指标,如右图所示【缺点:只能调用右图的函数】

(2)例子 

(3)特别地,结合dplyr::filter()使用,可以按条件进行分组统计

3、数据集合并及相关数据处理方法

合并数据集——merge()

过滤数据集——subset()与dplyr::filter()

检查数据完整性并填充——complete.cases()、na.omit()、is.na()

多指标排序——order()

纵向合并数据——cbind()

对某列数据进行切分——splitstackshape::cSplit()

导出数据——write.csv() 

4、结果导出

为了使测试集的预测数据与用于提交的数据进行匹配,按照我们构建特征的思路。就是“按id,按小时”进行匹配,即可。

对导出数据的格式进行查看(通过notepad++或者任何编辑器)。

需要注意的是,R语言中导出的数值很有可能是字符型,那么可以通过如下公式进行转换。

kk$y <- as.numeric(as.character(kk$y))


t1 = 1428641659                #时间戳(数值)

time1 = '2015-04-10 12:54:19'  #时刻(字符串) 

#----------------时间转换

#----法一:as.POSIXct()

#用法:输入-时间戳/字符串,先转换为日期型;再按需要,转换为字符串/时间戳

#用法1:将时间戳转换字符串

l0 = as.POSIXct(t1, origin="1970-01-01 00:00:00")    #将时间戳转换为日期型

lc = as.character(l0)                                                    #将日期型转换为字符串

#用法2:将字符串转换时间戳

l1 = as.POSIXct(time1, origin="1970-01-01 00:00:00")  #将字符串转换为日期型

l2 = as.numeric(l1)                                                          #将日期型转换为时间戳

l3 = as.numeric(as.POSIXct(time1, origin="1970-01-01 00:00:00"))  #将字符串转换为时间戳(最常用)

#----法二:strptime()

#特别地:输入-只能为字符串

l4 = as.numeric(strptime(time1,"%Y-%m-%d %H:%M:%S"))  #将字符串转换为时间戳(用法类似)

#特点:任意取出时间点

hour = strftime(time1, format = "%m-%d %H")

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容