AI+camera, 从分析到实践(计算机视觉)

本人程序员一枚,专注于计算机视觉,现就职于AI独角兽公司。代表产品是一款家居智能摄像头,负责摄像头的移动追踪功能,现产品销量已达百万台。然而.......我一分钱都没有分到。

看到很多同仁和欲进入这个行业的人想要对此有较为深入的了解,在此我就认真地分享一下,来弥补下我受伤的小心脏。



正文开始


未来,IP camera 主要会向着高分辨率,智能化与低功耗发展.而目前在市面 上流行的大多数家用 IP camera 并不具备智能视频分析模块,仍是传统的视频 传输至云端,再在 app 上查看的模式。现在,google nest,360 等少部分公司在 市场上已有一些带有智能分析的产品,但功能大多是关于人脸识别技术的应用。 其中的原因,一是智能分析技术不够商业化,二是部署成本太高。但随着硬件与 算法的优化,未来几年 AI 在视觉类将会有大的爆发。

在智能视频分析中,主要包括人体感知技术,人脸识别技术,物体检测技术,场 景识别技术,空间感知技术。同时,也需要学习智能分析后的数据,这方面的方案 主要应用于企业与政府,比如智慧城市中的人流与车流预警,智能疏通。在家用 中,也可以根据智能分析得到物体出现的时间与空间来帮助用户设置一些配置信 息,学习用户的生活规律。

AI 视频类方案总结

AI 视频类分析模块主要在云端和嵌入式端实现。云端深度学习视觉:深度学 习精度高,精度高,适应光照姿态变化,集中式计算,动态性弱。嵌入式深度学 习视觉:计算发生在设备前端,实时处理,分布式计算,动态性强。


具体方案

1、嵌入式端实现

1)AI芯片视觉类模块

说明:如繁星 AI 芯片视觉模块(sensor+IS P+VPU+ 嵌入式深度学 习视觉算 法),需要调 通视觉模组 与主控芯片.

兼容性:需要硬件 的支持,对 于以前的 设备,不能 更新

优点:可以作为独立AI摄像头嵌入到各种设备当中。也可以作为视觉协处理器,支持多种数据接口,真正能够做到即插即用、便捷高效

缺点:目前 AI 视觉类模 块不多,但未来一定会越来越多


2)AI芯片

说明:如瑞芯微RV1108. 芯片支持AI 类视觉类分析

兼容性:需要硬件的支持,对于以前的设备,不能更新

优点:芯片厂商已经集成在sdk 中,只需要调用就行

缺点:目前的芯片大多不支持,但未来一定会越来越多


3)软件实现

说明:部分AI 公司提供嵌入式端的人形识别算法,如商汤的PPL

兼容性:需要硬件的支持,对于以前的设备,不能更新

优点:通用性较高

缺点:对硬件的性能会有较高的要求


2、云端实现

1)基于公有云的AI 服务/搭建自己的云端服务

说明:AI 公司在云端提供视频分析的服务

兼容性:对所有的设备都可以更新

优点:兼容性高

缺点:需要一定的反应时间;需要结合设备端来降低成本

人体感知技术

利用深度学习技术,从图像和视频中识别手势动作,检测人体,识别人体行 为,并跟踪人体的特征,帮助机器和智能产品辨识手部指令,判断视频流中是否 有人体出现,识别不同的手部形态,人体姿态,肢体动作,并可实现跟踪人体。


各类技术的简要说明:

有人/无人感知:检测图片/视频流中是否有人体出现,支 持头肩,腿部等人体部分区域检测。

人体追踪:在视频流中追踪人体位置的移动,遮挡 终端后,可恢复跟踪

人体姿态检测,行为识别:支持在图像/视频流中对站立,行走,坐 立,跌倒,蹲下等不同姿态的检测。

手势识别:从视频流中识别并跟踪人手部特征,帮 助机器和智能产品辨别


有人感知/无人感知

人体感知技术是很重要的需求。现在厂商大多使用移动侦测去推告警信息,非常的不准确且针对性不强。使用人体感知技术可以针对人体这个特性,给用户 更好,更准确的推送消息。


应用与方案分析

1、人体感应,推动告警信息

参考方案:PIR。

技术指标:需要硬件的支持,对于以前的设备,不 能更新


2、分析用户对指定区域的兴趣度与分析场景的人数

参考方案1:PV1108.

说明:由瑞芯微与阅面科技推 出的 AI 芯片,算法跑在dsp 上

技术指标:检测速度:8~9fps;最大检测距离:8 米+;最大检测数目:10+


参考方案2:阿里云等 AI 公司提供的 公有云服务

说明:可为开发者和企业提供 高性能的在线 API 服务

技术支持:在云端可实时


参考方案3:繁星 AI 芯片视觉模组

说明:繁星 AI 芯片视觉模块由 Sensor+ISP+VPU+嵌 入式深度学习视觉算法 组成,能从芯片端智能输 出结构化数据

技术支持:可实时获取并分析图像或视频流中的人头和人脸信息,进行人数、人群属性以及轨迹分析


人体追踪

在人体检测后,跟踪人体运动.记录人体的运动轨迹

应用与方案可行性分析

1、记录人体的运动轨迹,可进行进出指定区域的人数统计(同时可以释放人体 检测,节约运算资源)


参考方案1:Rv1108

说明:由瑞星微与阅面科技推 出的 AI 芯片,算法跑在dsp 上

技术指标:检测速度:50ms;最大检测距离:4 米 ;追踪精度:98%



参考方案2:繁星 AI 芯片视觉模组

说明:AI 芯片模块

技术指标:可实时记录 15 人运动轨迹及运动 方向,可进行进出指定区域的人数 统计,准确率达 95%。


人体姿态检测,行为识别

通过检测人体的各个节点(头,手臂,腿部等),可以得到人体的姿态(站立,行走,坐立,跌倒)。

应用与方案可行性分析

得到人体姿态属性,对人体行为进行识别。(比如:老人跌倒告警,破坏公 共设施)

手势识别

通过识别一些手势,实现简单的人机交互。

应用与方案可行性分析

手势识别来控制摄像机拍照,通话等

参考方案:繁星 AI 芯片视觉模块

说明:支持掌、拳、V 字手型、伸掌、 握拳、挥手等多种手势操控

行人再识别

行人再识别是通过人体的特征来识别人(如人脸识别),它一直是世界顶级实验室与公司研究的一个较难的模块,目前精度还小于 80%。还达不到大众民用阶段。

应用与方案分析

多摄像机记录人的运动轨迹(主要应用与一些大型的安防场景,如酒店, 机场。)


因为创作不易,呕心沥血,并且干货满满。

将文章设置成了付费模式(只要5块钱),在此只展示全文的1/3。

全文结构如下:

购买链接:AI+camera, 从分析到实践

如果你只是随便看看,没有深入了解的需求,那么

主体内容转载自面包多用户「随便你」,转载已获得授权。

进入面包多:https://mianbaoduo.com

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容