百度AI攻略:手势识别

1.功能描述:

识别图片中的手部位置和手势类型,可识别24种常见手势,包括拳头、OK、比心、作揖、作别、祈祷、我爱你、点赞、Diss、Rock、竖中指、数字等

2.平台接入

具体接入方式比较简单,可以参考我的另一个帖子,这里就不重复了:

http://ai.baidu.com/forum/topic/show/943327

3.调用攻略(Python3)及评测

3.1首先认证授权:

在开始调用任何API之前需要先进行认证授权,具体的说明请参考:

http://ai.baidu.com/docs#/Auth/top

具体Python3代码如下:

# -*- coding: utf-8 -*-

#!/usr/bin/env python

import urllib

import base64

import json

#client_id 为官网获取的AK, client_secret 为官网获取的SK

client_id =【百度云应用的AK】

client_secret =【百度云应用的SK】

#获取token

def get_token():

host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=' + client_id + '&client_secret=' + client_secret

request = urllib.request.Request(host)

request.add_header('Content-Type', 'application/json; charset=UTF-8')

response = urllib.request.urlopen(request)

token_content = response.read()

if token_content:

token_info = json.loads(token_content)

token_key = token_info['access_token']

return token_key

3.2手势识别分析接口调用:

详细说明请参考: https://ai.baidu.com/docs#/Body-API/43eb40cf

说明的比较清晰,这里就不重复了。

大家需要注意的是:

API访问URL:https://aip.baidubce.com/rest/2.0/image-classify/v1/gesture

图像数据,base64编码后进行urlencode,要求base64编码和urlencode后大小不超过4M。图片的base64编码是不包含图片头的,如(data:image/jpg;base64,),支持图片格式:jpg、bmp、png,最短边至少50px,最长边最大4096px

Python3调用代码如下:

#画出手势识别结果

def draw_gestures(originfilename,gestures,resultfilename):

    from PIL import Image, ImageDraw

    image_origin = Image.open(originfilename)

    draw =ImageDraw.Draw(image_origin)


    for gesture in gestures:

        draw.rectangle((gesture['left'],gesture['top'],gesture['left']+gesture['width'],gesture['top']+gesture['height']),outline = "red")

        draw.text((gesture['left'],gesture['top']), gesture['classname'],"blue")

    image_origin.save(resultfilename, "JPEG")


#手势识别

#filename:原图片名(本地存储包括路径)

def gesture(filename,resultfilename):

    request_url = "https://aip.baidubce.com/rest/2.0/image-classify/v1/gesture"

    print(filename)

    # 二进制方式打开图片文件

    f = open(filename, 'rb')

    img = base64.b64encode(f.read())


    params = dict()

    params['image'] = img

    params = urllib.parse.urlencode(params).encode("utf-8")

    #params = json.dumps(params).encode('utf-8')


    access_token = get_token()

    begin = time.perf_counter()

    request_url = request_url + "?access_token=" + access_token

    request = urllib.request.Request(url=request_url, data=params)

    request.add_header('Content-Type', 'application/x-www-form-urlencoded')

    response = urllib.request.urlopen(request)

    content = response.read()

    end = time.perf_counter()

    print('处理时长:'+'%.2f'%(end-begin)+'秒')

    if content:

        #print(content)

        content=content.decode('utf-8')

        #print(content)

        data = json.loads(content)

        #print(data)

        result=data['result']

        print(result)

        draw_gestures(filename,result,resultfilename)


gesture('../img/gesture4.jpg','../img/gesture4_result.jpg') 

4.功能评测:

选用不同的数据对效果进行测试,具体效果如下(以下例子均来自网上):

处理时长:0.54秒

[{'probability': 0.5360070466995239, 'top': 97, 'height': 206, 'classname': 'Two', 'width': 170, 'left': 7}, {'probability': 0.4020222723484039, 'top': 104, 'height': 137, 'classname': 'Face', 'width': 139, 'left': 138}]

处理时长:0.58秒

[{'probability': 0.5303723812103271, 'top': 28, 'height': 267, 'classname': 'Nine', 'width': 334, 'left': 28}]

处理时长:0.81秒

[{'probability': 0.9833292961120605, 'top': 2, 'height': 179, 'classname': 'Face', 'width': 161, 'left': 168}, {'probability': 0.9321802258491516, 'top': 232, 'height': 132, 'classname': 'Six', 'width': 202, 'left': 215}]

处理时长:0.60秒

[{'probability': 0.9572300314903259, 'top': 148, 'height': 150, 'classname': 'Five', 'width': 149, 'left': 345}, {'probability': 0.9406964778900146, 'top': 112, 'height': 151, 'classname': 'Five', 'width': 155, 'left': 96}, {'probability': 0.8912005424499512, 'top': 184, 'height': 135, 'classname': 'Five', 'width': 111, 'left': 13}]

5.测试结论和建议

测试下来,整体识别效果不错。对于手势有较强的识别能力,效果很好,速度也很快。可以广泛的应用于:

智能家居:智能家电、家用机器人、可穿戴、儿童教具等硬件设备,通过用户的手势控制对应的功能,人机交互方式更加智能化、自然化

视频直播:视频直播或者拍照过程中,结合用户的手势(如点赞、比心),实时增加相应的贴纸或特效,丰富交互体验

智能驾驶:将手势识别应用到驾驶辅助系统中,使用手势来控制车内的各种功能、参数,一定程度上解放双眼,将更多的注意力放在道路上,提升驾车安全性

等领域,不过对于多个手势的图片,识别率还有提高的空间,希望后续进一步提高。

同时建议增加打响指的手势识别,这样我们才能做出像钢铁侠那样打个响指拯救世界的效果。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,176评论 5 469
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,190评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,232评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,953评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,879评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,177评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,626评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,295评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,436评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,365评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,414评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,096评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,685评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,771评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,987评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,438评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,032评论 2 341

推荐阅读更多精彩内容