Vuforia图片识别(Android)

前言

最近公司有AR开发的需求,需要使用手机扫描图片显示出不同的模型,同时模型要有旋转、缩放的功能,提供的框架是Vuforia。那么经过一个星期的研究,也算是完成了任务,现在总结出开发中遇到的一些坑,具体源码放在Gitee。

项目地址
https://gitee.com/GrapeM/vuforia_image_recognition


介绍

使用场景:根据多个模型图片,手机相机扫描后出现对应的模型,需要快速加载出模型,使用的模型都为OBJ模型。
使用技术:Java(不需要JNI)

主要知识点:

  • 替换识别图片
  • 序列化模型OBJ文件

首先说一下遇到的坑,Vuforia原始的加载模型方法就是一个坑,研究过一段时间的人大概都清楚。它的操作流程大概是这样的:

  1. 将一个模型文件(OBJ)转化为.h文件
  2. 将.h中的法线、顶点、纹理三个坐标点分别放在三个txt
  3. 读取解析txt显示模型。

这一系列让人窒息的操作不仅仅是麻烦,而且解析txt的再显示模型的速度是慢的不得了。所以研究了两天,不得不从新寻找其他方法代替。


替换图片

开始之前,先准备好一些工作。申请key,替换识别的图片。

地址:https://developer.vuforia.com/

注册账号后点击:Develop — License Manager — Get Development Key

示意图

注册key后在里面可以拿到License Key放在项目的SampleApplicationSession.java中

   Vuforia.setInitParameters(mActivity, mVuforiaFlags,"你的License Key");

设置key后,点击 Develop — Target Manager — Add Database 类型是device

在该Database里面点击 Add Target添加目标图片,宽度(width)会影响识别出来的模型的稳定性(不正确的话模型会明显抖动)

添加后Download DataBase下载图片数据库,将里面的dat,xml文件放入项目的assets文件夹中。

添加的图片质量有星级划分,等级越高越容易识别出来,至于如何评分可以搜索官方文档,大致概括为“模型与背景的对比度,模型本身的纹理清晰度和复杂度”。


序列化OBJ模型

之所以要序列化模型文件的原因,是因为加载模型速度实在是太慢,测试10个大概10M的模型,需要加载5分钟。这样的速度给客户使用,估计焦虑症都可以憋出来。

在此之前首先要从开始说那个原始加载OBJ文件的坑说起,弃用这个方法后我去Github找到了一个项目,是关于Vuforia与JPCT(加载3D模型框架)结合的项目。

项目地址:https://github.com/l123456789jy/VuforiaJpct

这个大佬的项目中就有OBJ和MD2格式的加载方法,需要通过JPCT框架的加载OBJ(MD2)的方法就可以简单实现模型调用。如果对模型加载速度没有需求,下载该项目即可。

对的,加载速度没有要求直接使用JPCT的加载OBJ模型就可以了,对比之前分成三个文件加载简直不要太方便。但是如果加载多个模型,这个方法的解析速度和原始方法的速度其实是差不多的,这时候便不满足我项目的需求。

所以我在JPCT官方上找到解决该问题的方法:模型文件序列化

序列化就是将OBJ等模型文件转化成可以让JPCT更容易读取的文件,但该序列化文件操作必须要在电脑端的Java IDE执行(如Eclipse),将模型的OBJ,MTL(纹理文件),统一转化成一个ser文件。经过序列化的文件加载速度大大提升。(从10个文件的5分钟的加载时间减少到10秒)

其方法很简单,代码也放入项目当中,将转化后的ser文件和模型的贴图(png/jpg)放入assets中即可。

注:转化ser代码在项目文件夹“ObjToSer”,测试的目标图片在“TestImage”

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,711评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,932评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,770评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,799评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,697评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,069评论 1 276
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,535评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,200评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,353评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,290评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,331评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,020评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,610评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,694评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,927评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,330评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,904评论 2 341

推荐阅读更多精彩内容