埋点体系设计再思考

大概一年前在简书写和大家分享了用户行为埋点数据采集的相关内容,得到了很多赞和关注,很高兴这些内容可以帮助到大家。
在之后的一年里,团队部署了神策分析,Thea 接触学习到了目前主流的埋点模型--「事件模型」,有很多启发,让我开始重新思考埋点的本源。这是一篇关于埋点体系建设的文章,谈论三个核心问题:1. 什么是埋点?2. 什么是好的埋点体系?3. 如何着手搭建埋点体系?
如果没有读过《用户行为采集》列表文章,请点击阅读

一. 什么是埋点?

当我们要应用数据时,「巧妇难为无米之炊」这句话常常被提起,这句话是在表达,应用数据的前提是先有数据。这可能听起来是句废话,但在实际的工作场景中,数据团队常常会收到一些「奇怪」的需求。比如,业务人员希望了解昨日使用搜索功能的用户数,而实际上数据库里面并没有存用户点击搜索按钮这个行为的相关数据。又比如,数据库中记录了打开小程序这一行为的相关数据,而业务人员希望了解通过不同场景启动(如,列表下拉打开,单人聊天页面分享打开等)打开小程序的用户数,由于数据库并没有在用户启动小程序时记录启动的场景,这样的需求也是无法被满足的。这样的情景都可以用「巧妇难为无米之炊」来比喻。

既然「先有数据」是一切数据应用的前提,如何才能把业务关心的用户行为数据都收集存储下来呢?答案就是 -- 埋点。

如何理解「埋点」?Thea 有一个比较直觉的理解:埋点就是部署在前端,或服务端的一段代码,当用户触发了某种特定的操作,这段代码就会生成一条数据发送到数据库里,这条数据会记录哪个用户在什么时候以什么样的方式做了一件什么样的事。于是,当我们想要统计用户操作某功能的次数、浏览页面的时长、某页面的跳出率时,就需要用埋点去采集这些信息。

二. 什么是好的埋点体系?

埋点就埋点呗,为什么还要在「埋点」两个字后面加「体系」,这是因为虽然埋点本身技术实现的难度并不高,但是整个埋点的过程可以说十分的复杂繁琐,有非常多细节需要考虑。不是某个角色能独立完成的工作,需要数据团队、研发团队、测试团队、业务团队多方参与。如何让各方高效地协作,采集到业务线真正所需要的数据?埋点上线之后,BI 同学是否能清楚地知道埋点的元数据信息,加工出业务需要的指标?基本上,开发人员都不太愿意做「埋点」的工作,如何去说服他们?这一系列问题都是埋点工作中需要考虑的,到最后,埋点不仅仅是一串能采集用户行为数据的代码,而是一整套能实现业务数据需求的复杂体系,其中包括埋点模型、埋点SDK、埋点流程规范、埋点工具、用户行为分析平台等等这些内容。

正由于埋点业务一套非常复杂的体系,需要投入很多的资源和人力去长期的运营,我们对埋点工作的要求就不止是解决采集数据的有无问题,还要关注成本问题、质量问题,也就是说如何以较低的成本稳定产出高质量的埋点?我认为一个好的埋点体系应该同时满足:
成本低,埋点从需求到开发上线,再到数据分析,各方的操作成本低。
效率高,埋点模型全面、复用性高,不需要每个埋点需求都走一遍埋点流程。
质量好,通过机制和上线化的工具保证埋点需求端到端的交付。

三. 如何着手搭建好的埋点体系?

一般而言,一条完整的埋点工作流长下面这个样子。

埋点工作流

我们把上面描述的三个目标拆解到埋点工作流中去:


目标拆解

在埋点业务流程的每个步骤中 ,我们可以做些什么让能整个埋点体系实现成本更低、更高效、质量更好:

  • 需求沟通,业务同学要把需求传达给数据团队。我们都知道,沟通是一个时间黑洞,应最大程度地提升埋点需求的沟通效率,让业务人员清楚有埋点需求应该找谁对接、如何把需求描述得清楚。

  • 埋点设计,重点在于埋点模型,好的埋点模型抽象能力强,能够更全面的覆盖用户行为,也有更好的复用性,设计起来也更加简单,可以极大的提升埋点工作流的效率。埋点模型设计得好还能提升后续数据计算的性能。另外,因为我们考虑的是企业级的埋点体系建设,需要统一的设计。

  • 需求评审:很必要把埋点当作一条独立的研发流程来看待,设置专门的埋点需求评审,这么做的好处,一方面是让大家重视埋点研发,另一方面,因为参与埋点的团队比较多,可以在需求评审时把大家聚到一起,同步埋点方案、业务价值、研发计划等,协同各方各司其职。

  • 开发测试:研发和测试按照评审通过的 DRD 进行开发测试。埋点的研发是一项琐碎的工作,并且随着埋点越来越多,埋点代码的管理任务很重,这也是很多研发不愿意埋点的原因,埋点的测试是一件比较困难的事件,很多测试人员之前没有接触过专项工作,需要提供一些线上的工具帮助研发和测试提升效率。

  • 埋点应用:这个环节主要是要维护好埋点的元数据信息,知道埋点和业务是如何关联,方便 BI 同学加工出业务需要的指标。

总结上面,Thea 认为建设一个好的企业级埋点体系,有三个要点:

  1. 设计灵活、全面、复用性高的埋点模型,提升埋点设计的效率,降低埋点应用和管理的成本。

  2. 制定清晰可落地的端到端埋点采集规范,定义埋点工作流以及每个环节的输入输出,保证参与埋点的各方高质量的产品。

  3. 开发线上工具支持埋点的管理、研发、测试验收等工作,提升效率。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容