AI 项目落地应用指南--序

本系列文章原文发布于Github,感谢Star,欢迎Fork与PR。
GitBook提供了更好的阅读体验。
知乎专栏会首先更新。

同志们可以不点赞不关注,但是有好工作机会可以推荐的嘛,欢迎私信,不要矜持、不要害羞啊,哈哈哈。

前言

离开老东家快一年了,在半休息半工作的轻量负荷下,终于可以系统的做一点事情:1、把快给管理荒废了的撸码捡起来;2、补补DeVOps这条Pipeline各种工具生态发展;3、看看React,VUE,Flutter这些之前根本没有精力去看的东西;4、从数学到理论系统性的看看DL的东西;5、看心情,瞎琢磨。

同时,在各路猎头的热情对接下,和一些国内AI领域的公司有过工作岗位的沟通与面试,基本上分为以下几类:

  • 头部独角兽AI公司
  • 中小AI公司
  • 国外AI创业,准备回国内落地
  • 准备进入AI领域(毕竟是风口)的IT领域公司

也算聊了不少家,皆无果。究其因,无非就是人家看不上我我看不上人家这两种。

一方面年龄40+,在当下这个环境,这是最大的竞争劣势;另一方面多年的工作重心在产品、架构、项目以及技术管理上,写代码这件事基本给废了;再一方面,虽然16年开始上手AI,Demo也一手做出来了,项目也交付了,但不是科班,显然没有扎实的DL基础;最后,怎么说呢,也许就是个靠嘴干活的渣渣。

所以我关注的机会,更多的是需要技术支撑的高综合技能要求的方向,而不是“计算机视觉研究员”、“高级程序员”这种明显力不从心的岗位。实际的无果原因基本是:大多数沟通或者面试,聊着聊着要么“跑偏了”,要么实在是无法继续下去了,继续下去只能是互相浪费时间,只能想办法快速结束,具体有以下几种情形:

  • JD方向是诸如“工程化落地与交付”、“AI应用示范”、“产品技术经理”等的,基本都是聊1到2个小时,但真正与JD关键词相关的问题好像没有超过10分钟的,实在不知道JD的要求面试官是否清楚;
  • 最奇葩的一家,目标是找“有B/G领域项目交付经验的CTO”,技术面第一个问题:Python的 tuple 和 list 什么区别;然后是 React、MongoDB、Redis、Docker 等;近一个小时,没有一个 DL 问题,没有一个产品、交付的问题;问到Flask如何在生产环境部署,真的抓狂了,这是面3年以内 Python 开发还是拿我闹着玩呢?答:Python Web就是写 Demo,生产都是 Java, C#, .NET Core这些,演示就是 laptop 开发环境把 http 拉起来,没部署过生产环境。只求赶快能让人家判断我不行,面试结束。
  • 遇到过很有“追求”的问题:你来规划我们的AI产品,如何能确保在2年后落地还是属于领先的技术水平,我的天,在2个月不看新闻,不读Paper的就要落伍的AI时代,要做到2年后落地还要技术领先,我不知道谁能做到,反正我肯定做不到。
  • 遇到过极其“好学”的CTO来面试,3个多小时,简直就是一场AI基本概念讲座,我问了一个问题,就后悔前面3个多小时的“科普”了:“贵公司的‘人工智能应用总监’目标是解决哪些场景的DL问题?”。答案基本是:还没想好,有做AI的需求,但是具体做什么需要入职后再讨论。
  • 某团队有个细分的算法,产品化的程度基本比Demo强不了多少,准备做B/G市场项目,听了好多人家的设想,抛出去灵魂三连问:1、一个算法其实就是看起来能解决某个领域问题的一个功能点,但是对于B/G市场,用户需要的解决方案和完整的产品,咱们这方面有什么规划?2、以我的理解(非常巧,一个以前带过的产品经理在做的产品和他们的方向很相似,正好这哥们儿之前找我聊过不少,要我给点建议)要做这方面的项目,还需要有……,这些算法和产品规划,有没有时间和成本的考虑?3、B/G项目是一个长周期的事情,尤其是这种新兴事物,用户教育和市场培育需要投入和耐心,这方面公司有没有做好长期作战的储备?。人家思考后,没有回答,给我了一个问题:“那你觉得我们的商业模式应该是什么呢?”。面试互怼,好欢乐。
  • 头部AI公司CTO,分管的研发中心是要做工程、产品化落地的,终面算是捞到一次和大佬对话的机会,但没有问一个工程、产品与交付的问题。

其实,所有的面试,我都是做好准备“”在DL的算法、框架、超参和手写代码的问题上。但,很不幸,这些问题真不多,只有一次,Caffe大概看了看,没实际用过,问题确实不知怎么回答;没有一家对我之前落地的项目感兴趣,详细追问一些工程、产品和算法实现(调参、backbone network的选择依据,这些还是有人问到的)以及对项目的复盘与反思等。对此,略感惊讶。

五年前,不提Big DataHadoop出门都不好意思跟人打招呼,这两年公司不想办法往AIBlock Chain方向靠,都不好意思更新网站,在这个热闹非凡,热点轮转的时代,以上种种意想不到的情况,在一定程度上来说,也是必然。

之前2、3年基本少有人对 AI 落地非常关心,“豪华团队 + Paper + 比赛刷榜”就是一个团队最好对背书,不管是谁的钱,投资总是需要考虑回报这件事的,在大方向都转向比拼落地能力的2019年,为什么没有感觉到这个行业对于落地的急迫,依然有对豪华团队的迷之自信,可看看知乎的这个问题:清华AI四大公司PonyAI、RealAI、Face++、商汤未来能否达到Google、微软的高度?。必须要说,对于这些横跨学术与产业的顶尖人才的贡献,我是无比敬佩,IT领域也算混了二十年,从来没见过哪个方向有如此强大的开源与分享动力,框架、论文、实现代码、权重与参数(预训练模型)大家你争我抢,毫无保留的都给社区随便用,Google的推动更是不可忽视(从开源协议来说,大多都是没法商用的,比如ImageNet下载申请协议的第一条就是Researcher shall use the Database only for non-commercial research and educational purposes,做CV的有几家能全部避免使用ImageNet的相关产物?为了下数据集,找在学校任教的同学、朋友借edu邮箱,前几年估计很多产业界的人都干过这样的事情)。用半年业余加班时间就能从0开始做出检测算法,跑出来Demo,活着爬出销售挖的坑,没有这些开源分享,就算有“飘柔”般的自信和“梁静茹”给的勇气,这事情也是想都不敢想的。

其实,对于非AI领域的公司积极拥抱AI,出现的各种理解与认识偏差,是能理解的(毕竟,我就是摸着石头一步一步往前走的),但是对于Scientists坐镇的AI公司,现阶段也不缺钱,工程化、产品化落地情况依然不乐观,这件事我是有点困惑的。

对于AI的落地,我相信,一定会有:“训练几个 model 搭几个 inference 的 APIs,业务去调用不就好了么?”这样的简单想法存在。我的理解是:对于AI这个“边缘”技术领域,如何从解决一个特定问题的构想到最终的工程化落地的产品、项目,虽然看起来都是写代码,但是和我们传统的软件开发过程、产品思考、交付能力要求相比,还是有较大差异的。

基于自己的理解,结合近期与微信群、知乎上的一些“陌生人”聊天过程中的收获,以及工作以来对售前、产品、研发、咨询、交付与技术管理的认识与实践,入门DL后的学习探索与项目落地交付实战,还有近一年来较为深入的阅读、学习与思考,把我对于如何实现Shift AI models to real world products的一孔之见与相关实践经验组织为一个较为系统的知识体系回馈给社区,同时,我相信写作过程也是对相关知识领域的认知程度的梳理与再学习过程。

考虑到我的知识背景局限性(熟悉B/G项目和产品,略懂CV和监督学习),所以内容和其中的一些建议与案例,更倾向监督学习、CV在B/G端的产品与项目落地,对于机器学习的NLP、RL等领域以及像推荐算法这些在线学习的互联网方向的应用,争取也能做一些建议。

最后,笔者才疏学浅,文中难免有错误、偏差与疏漏之处,望不吝指正与补充。

目录

一、概述 - Draft completed

二、机器学习项目过程 - Draft completed

三、机器学习项目团队组成 - Draft completed

四、产品经理的工作挑战 - Draft completed

五、项目售前与解决方案 - Draft completed

六、产品/项目启动

七、数据采集、标注与管理

八、训练与调试

九、模型部署与测试

十、机器学习的 DevOps

十一、项目交付

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,242评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,769评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,484评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,133评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,007评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,080评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,496评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,190评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,464评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,549评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,330评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,205评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,567评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,889评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,160评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,475评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,650评论 2 335

推荐阅读更多精彩内容