数据采集与埋点

1) 什么是埋点

埋点技术是一种数据采集技术,特指针对用户行为或时间进行捕获、处理和上报的相关技术及其实施过程。

2) 埋点模型

埋点模型采用的是事件模型,事件模型描述了一个人做某件事情所需要的几个重点要素:人物(who)、时间(when)、地点(where)、途径(how)、结果(what),完成对每个事件的维度/属性/字段的采集,对事件的发生形成一个快照.

3) 埋点分类

按端口主要分为: 1.Web埋点 2.APP埋点 3.接口埋点

  1. Web埋点主要是通过先在Web页面上注入一段Javascript代码,然后对收集的数据进行上报的技术. Web埋点技术经历了网页信息、增加Cookie、增加事件三个阶段,在大数据运营之后,Web埋点更多的关注事件,同时上报用户信息,这样可以对用户兴趣点进行挖掘。
  2. APP埋点是通过在代码中注入一段特殊的代码或者引入一个SDK,对APP中的信息进行收集的一种技术.
  3. 接口埋点不同于其他埋点,它不是通过数据库系统直接存储,而是通过日志系统存储,然后通过ETL保存到数据仓库. (用于实时接口的监控,快速发现接口的异常. 如运维的报警系统很多都是接口埋点实现的)

按是否可视化分为:1. 代码埋点 2.可视化埋点(全埋点/无埋点)

  1. 代码埋点:代码埋点是根据具体埋点需求进行数据采集的方式,分为前端代码埋点和后端代码埋点. 前端代码埋点在前端里嵌入SDK代码,对于每一个关键行为,我们需要调用SDK代码,将必要的事件名,属性字段等写入代码,然后发送到后台服务器.后端代码埋点则将相关事件和属性通过后端模块调用SDK的方式,发送到后台服务器. 前端埋点主要采集用户行为,后端埋点更多采集的是业务数据。
  2. 可视化埋点(全埋点/无埋点) : 全埋点类似于前端埋点,不同的是,全埋点通过对前端界面配置的方式对关键行为进行定义完成圈选过程, 引用SDK, 接下来就会自动完成全面采集.
    更多细节参考:https://growingio.kf5.com/hc/kb/article/1336131/
    https://www.cnblogs.com/fakeCoder/p/9900595.htm

数据采集除了埋点,还有一个方法是导入辅助工具,为了减少系统耦合性,我们还可采集日志,数据库的方式生成数据,然后对数据进行转换,通过实时或批量工具完成数据导入.(例如将日志格式的数据通过Logagent模块实时传入后台服务器,也会采用分布式抓取的方式,定时将数据从源头下载到数据服务器)

4) 埋点方式的对比

代码埋点和全埋点比较:
image.png

前端埋点和后端埋点比较:
image.png

5) 埋点技术的选择

公司刚启动,技术人员少,人员流动大,公司初步扩张中,尚未进入精细化运营阶段。可以选择无埋点技术。
项目在天使轮阶段之后的融资阶段,业务复杂度高,App应用的技术多样。使用有埋点技术。
公司流量巨大,业务复杂度高。需要有埋点技术和无埋点技术联合使用。对无埋点技术也要进行一定的修改,上报阶段要通过后台配置项进行配置上报。

为了埋点数据全&准的两个准则,一般可以采取两种方式组合的方式,重点业务、非重点页面采用代码埋点,重点页面非重点业务采用无埋点,合理分配两种埋点策略做到不丢不漏在合理的维护成本范围内,尽可能多而全的采集。

6) 埋点上报如何做到全面

以UI设计为底,以业务价值为依据,以事件为起点,以'要义'为目标进行埋点,就可以保证目标收集的必要和全面

  1. 依赖交互设计图,任何有交互的元素都要考虑是否埋点. 决定是否埋点的依据是这个交互是否有业务意义.有意义就埋.
  2. 以事件驱动,需要上报的信息包括事件本身,触发事件的用户信息(包含设备信息),以及触发元素本身所在实体(对于客观世界物体的抽象)的信息. 如我们在电商平台收藏一个商品,那么点击收藏的这个点击事件就是我们要埋的点.
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,088评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,715评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,361评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,099评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 60,987评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,063评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,486评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,175评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,440评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,518评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,305评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,190评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,550评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,880评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,152评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,451评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,637评论 2 335

推荐阅读更多精彩内容