浅尝“手势控制”

作为一名科幻电影死忠粉!好莱坞大片里各种高科技特效我早已司空见惯。但真正意义上在工作中接触“手势控制”还要是追溯到2015年我们专案的一次例会,期间一位酷爱科幻,电玩的美籍帅Boss提出设想:我们的系统或许也可以像科幻电影里一样实现手势控制,用手来控制眼前的15宫格和各大系统(我们的战情中心--15面47寸电视组合墙)。。。
或许真的是因为这个原因,很快我们的专案项目里就kick off 了一项手势控制缓慢跟进,但当时我正在“语音识别”解决方案调研中,并未参与其中,只是偶尔去留意手势识别相关信息罢了。
直到2016年5.26的贵阳大数据博览会筹备工作紧张展开,展场互动区展示内容确定涵盖手势控制,我这才临危受命开始兼职跟进”手势控制”事宜(之所以是兼职,因为此时我还同时跟进着展会另一个互动区展示内容--VR)
下面来简单分享一下我做手势控制的一些知识和经验积累。我们选用的手势识别设备—Leap Motion,使用JS脚本语言嵌入Web实现手势控制Web系统。


手势识别设备及相关原理:
Leap Motion是基于双目视觉的手势识别设备。顾名思义,双目视觉就是有两个摄像头,利用双目立体视觉成像原理,通过两个摄像机来提取包括三维位置在内的信息进行手势的综合分析判断,建立的是手部的立体模型。
Leap 传感器根据内置的两个摄像头从不同角度捕捉的画面,重建出手掌在真实世界三维空间的运动信息。检测的范围大体在传感器上方25 毫米到600 毫米之间,检测的空间大体是一个倒四棱锥体。
首先,Leap Motion 传感器会建立一个直角座标系,座标的原点是传感器的中​​心,座标的X 轴平行于传感器,指向屏幕右方。 Y 轴指向上方。 Z 轴指向背离屏幕的方向。单位为真实世界的毫米。

具体的手势识别过程:
首先从双目摄像头采集操作者手势动作的左右视觉图像,通过立体视觉算法生成深度图像。然后对左(或右)视觉图像使用手势分割算法处理,分割出的人手所在的初始位置信息,并将该位置作为手势跟踪算法的起始位置。再使用手势跟踪算法对人手运动进行跟踪。再根据跟踪得到的结果进行手势的识别。需要说明的是,如果跟踪目标消失,则重新进行手势分割,再重复上述步骤。
说人话!!OK, 具体的概念我不打算多讲,但鉴于手势识别技术尚未成熟,网络资源也太少,所以就将自己在探索过程中积累的一些入门级资源做个简单分享,帮助各位感兴趣的盆友快速入门:拿走不谢!
【1】《Leap Motion手势识别大揭秘》:
http://tech.163.com/16/0503/10/BM4QI1OF00094P0U.html
【2】《Leap Motion体感原理》:
http://www.narkii.com/college/college_103473.shtml
较详细的介绍了Leap Motion相关原理,不敢讲权威但比百度百科专业些。

【3】《极客基地》-Leap Motion论坛专区:
http://www.jikejidi.com/forum-70-1.html
Leap Motion专区提供一些入门级的操作指南以及个别应用实例演示,但暂未发现大牛

【4】开源中国社区-Leap Motion专区:http://www.oschina.net/search?scope=blog&q=leap+motion
程序猿的都知道的学习网站!Leap Motion专区提供API类库, SDK源码供各位练手

【5】GitHub Leap Motion开源专区:
https://github.com/search?utf8=✓&q=LEAPMOTION
国外开源网站,搜索Leap Motion可以找到相应源码资源,包括JS JAVA C# C++…..

【6】Leap Motion官网:
https://www.leapmotion.com/
好的总是要留到最后!_--在资源优先的限制下,Leap Motion官网无疑是一块宝藏,官网提供Leap Motion 相关API, SDK;应用商城提供许多桌面exe应用,插件,游戏,Demo视频等等;此外当然少不了付费服务,总之蛮多,感兴趣的可以尝试一下。

今天分享的上述资源仅供各位参考以便快速入门,但具体在操作中遇到的问题,那就需要各位耐心去解决了,鉴于专案应用场景是手势控制各大系统网页界面,所以我们采用的是将JS脚本语言嵌入网页作为活动内容来辅助实现手势控制代替鼠标实现操作页面效果,当然更多场景下的应用开发也会在后续展开,稍候再做更新,完善…

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容