本人程序员一枚,专注于计算机视觉,现就职于AI独角兽公司。代表产品是一款家居智能摄像头,负责摄像头的移动追踪功能,现产品销量已达百万台。然而.......我一分钱都没有分到。
看到很多同仁和欲进入这个行业的人想要对此有较为深入的了解,在此我就认真地分享一下,来弥补下我受伤的小心脏。
正文开始
未来,IP camera 主要会向着高分辨率,智能化与低功耗发展.而目前在市面 上流行的大多数家用 IP camera 并不具备智能视频分析模块,仍是传统的视频 传输至云端,再在 app 上查看的模式。现在,google nest,360 等少部分公司在 市场上已有一些带有智能分析的产品,但功能大多是关于人脸识别技术的应用。 其中的原因,一是智能分析技术不够商业化,二是部署成本太高。但随着硬件与 算法的优化,未来几年 AI 在视觉类将会有大的爆发。
在智能视频分析中,主要包括人体感知技术,人脸识别技术,物体检测技术,场 景识别技术,空间感知技术。同时,也需要学习智能分析后的数据,这方面的方案 主要应用于企业与政府,比如智慧城市中的人流与车流预警,智能疏通。在家用 中,也可以根据智能分析得到物体出现的时间与空间来帮助用户设置一些配置信 息,学习用户的生活规律。
AI 视频类方案总结
AI 视频类分析模块主要在云端和嵌入式端实现。云端深度学习视觉:深度学 习精度高,精度高,适应光照姿态变化,集中式计算,动态性弱。嵌入式深度学 习视觉:计算发生在设备前端,实时处理,分布式计算,动态性强。
具体方案
1、嵌入式端实现
1)AI芯片视觉类模块
说明:如繁星 AI 芯片视觉模块(sensor+IS P+VPU+ 嵌入式深度学 习视觉算 法),需要调 通视觉模组 与主控芯片.
兼容性:需要硬件 的支持,对 于以前的 设备,不能 更新
优点:可以作为独立AI摄像头嵌入到各种设备当中。也可以作为视觉协处理器,支持多种数据接口,真正能够做到即插即用、便捷高效
缺点:目前 AI 视觉类模 块不多,但未来一定会越来越多
2)AI芯片
说明:如瑞芯微RV1108. 芯片支持AI 类视觉类分析
兼容性:需要硬件的支持,对于以前的设备,不能更新
优点:芯片厂商已经集成在sdk 中,只需要调用就行
缺点:目前的芯片大多不支持,但未来一定会越来越多
3)软件实现
说明:部分AI 公司提供嵌入式端的人形识别算法,如商汤的PPL
兼容性:需要硬件的支持,对于以前的设备,不能更新
优点:通用性较高
缺点:对硬件的性能会有较高的要求
2、云端实现
1)基于公有云的AI 服务/搭建自己的云端服务
说明:AI 公司在云端提供视频分析的服务
兼容性:对所有的设备都可以更新
优点:兼容性高
缺点:需要一定的反应时间;需要结合设备端来降低成本
人体感知技术
利用深度学习技术,从图像和视频中识别手势动作,检测人体,识别人体行 为,并跟踪人体的特征,帮助机器和智能产品辨识手部指令,判断视频流中是否 有人体出现,识别不同的手部形态,人体姿态,肢体动作,并可实现跟踪人体。
各类技术的简要说明:
有人/无人感知:检测图片/视频流中是否有人体出现,支 持头肩,腿部等人体部分区域检测。
人体追踪:在视频流中追踪人体位置的移动,遮挡 终端后,可恢复跟踪
人体姿态检测,行为识别:支持在图像/视频流中对站立,行走,坐 立,跌倒,蹲下等不同姿态的检测。
手势识别:从视频流中识别并跟踪人手部特征,帮 助机器和智能产品辨别
有人感知/无人感知
人体感知技术是很重要的需求。现在厂商大多使用移动侦测去推告警信息,非常的不准确且针对性不强。使用人体感知技术可以针对人体这个特性,给用户 更好,更准确的推送消息。
应用与方案分析
1、人体感应,推动告警信息
参考方案:PIR。
技术指标:需要硬件的支持,对于以前的设备,不 能更新
2、分析用户对指定区域的兴趣度与分析场景的人数
参考方案1:PV1108.
说明:由瑞芯微与阅面科技推 出的 AI 芯片,算法跑在dsp 上
技术指标:检测速度:8~9fps;最大检测距离:8 米+;最大检测数目:10+
参考方案2:阿里云等 AI 公司提供的 公有云服务
说明:可为开发者和企业提供 高性能的在线 API 服务
技术支持:在云端可实时
参考方案3:繁星 AI 芯片视觉模组
说明:繁星 AI 芯片视觉模块由 Sensor+ISP+VPU+嵌 入式深度学习视觉算法 组成,能从芯片端智能输 出结构化数据
技术支持:可实时获取并分析图像或视频流中的人头和人脸信息,进行人数、人群属性以及轨迹分析
人体追踪
在人体检测后,跟踪人体运动.记录人体的运动轨迹
应用与方案可行性分析
1、记录人体的运动轨迹,可进行进出指定区域的人数统计(同时可以释放人体 检测,节约运算资源)
参考方案1:Rv1108
说明:由瑞星微与阅面科技推 出的 AI 芯片,算法跑在dsp 上
技术指标:检测速度:50ms;最大检测距离:4 米 ;追踪精度:98%
参考方案2:繁星 AI 芯片视觉模组
说明:AI 芯片模块
技术指标:可实时记录 15 人运动轨迹及运动 方向,可进行进出指定区域的人数 统计,准确率达 95%。
人体姿态检测,行为识别
通过检测人体的各个节点(头,手臂,腿部等),可以得到人体的姿态(站立,行走,坐立,跌倒)。
应用与方案可行性分析
得到人体姿态属性,对人体行为进行识别。(比如:老人跌倒告警,破坏公 共设施)
手势识别
通过识别一些手势,实现简单的人机交互。
应用与方案可行性分析
手势识别来控制摄像机拍照,通话等
参考方案:繁星 AI 芯片视觉模块
说明:支持掌、拳、V 字手型、伸掌、 握拳、挥手等多种手势操控
行人再识别
行人再识别是通过人体的特征来识别人(如人脸识别),它一直是世界顶级实验室与公司研究的一个较难的模块,目前精度还小于 80%。还达不到大众民用阶段。
应用与方案分析
多摄像机记录人的运动轨迹(主要应用与一些大型的安防场景,如酒店, 机场。)
因为创作不易,呕心沥血,并且干货满满。
将文章设置成了付费模式(只要5块钱),在此只展示全文的1/3。
全文结构如下:
购买链接:AI+camera, 从分析到实践
如果你只是随便看看,没有深入了解的需求,那么
主体内容转载自面包多用户「随便你」,转载已获得授权。
进入面包多:https://mianbaoduo.com