最新:iOS 集成Unity AR

最近接到一个需求,要接入AR,给了个Vuforia官网地址,还有AR开发部们同事给的demo(需求以demo为主),就直接开干,查了iOS原生接入Unity的资料,还是遇到了很多问题,在此总结记录一下。

先看效果:
首页
AR扫描后视频播放

目录

配置依赖
Demo封装
问题汇总

配置依赖

首先,我们拿到的demo结构是这样的:


demo目录
    1. 将 Classes 和 Libraries 文件夹,以及Framework文件夹中的 Vuforia.framework 拖入工程,按下图方式:
      导入Classes,Libraries及Vuforia.framework

      -------------------------------------------------->>>

    1. 将 Data 文件夹拖入工程,按下图方式:
      导入Data

      -------------------------------------------------->>>

    1. 结果是这样的(注意文件夹的路径,导入 Header Search Paths按此参照):
      拖入后

注:需将 Data / Raw 文件夹内的Vuforia文件夹按步骤二添加到如下位置,否则会扫描无反应:


Vuforia

-------------------------------------------------->>>

  • 4.将 Classes 文件夹 main.mm 内容复制到自己项目(ARTest)中的 main.m 中 ,然后ARTest的 main.m 后缀改为 main.mm,删除 Classes 文件夹中的 main.mm (Move To Trash)有报错先忽略, 代码如下图:
#import <UIKit/UIKit.h>
#import "AppDelegate.h"
#include "RegisterMonoModules.h"
#include "RegisterFeatures.h"
#include <csignal>

static const int constsection = 0;

void UnityInitTrampoline();

const char* AppControllerClassName = "UnityAppController";
int main(int argc, char * argv[]) {
    
    @autoreleasepool {
        UnityInitStartupTime();
        UnityInitTrampoline();
        
        UnityInitRuntime(argc,argv);
        RegisterMonoModules();
        RegisterFeatures();
        
        std::signal(SIGPIPE, SIG_IGN);
        
        return UIApplicationMain(argc, argv, nil, NSStringFromClass([AppDelegate class]));
    }
}

-------------------------------------------------->>>

    1. 在build Setting --> other Link Flags 下做如下修改:
 -weak_framework CoreMotion -weak-lSystem
other Link Flags

-------------------------------------------------->>>

    1. 在build Setting --> Header Search Paths 下做如下修改:
"$(SRCROOT)/ARTest/Unity" 
"$(SRCROOT)/ARTest/Unity/Classes"
"$(SRCROOT)/ARTest/Unity/Classes/Native"
"$(SRCROOT)/ARTest/Unity/Libraries"
"$(SRCROOT)/ARTest/Unity/Libraries/libil2cpp/include"
                  (不同项目需要按照文件在工程中的路径来确定,本次路径参照步骤三图片所示路径)

如图所示:
Header Search Paths

-------------------------------------------------->>>

    1. 在build Setting --> Other C Flags 做如下修改:
-DINIT_SCRIPTING_BACKEND=1 -fno-strict-overflow -DRUNTIME_IL2CPP=1 -DNET_4_0

如图所示:
Other C Flags

-------------------------------------------------->>>

  • 8.在build Setting --> Precompile Prefix Header做如下修改:如图所示:
    precompile prefix header

注:若ARTest项目有pch 文件,需合并pch 文件,将Classes内的prefix.pch 内容全部拷贝到本项目中的pch 中,否则编译会报错,如图:
PCH文件合并

-------------------------------------------------->>>

  • 9.在build Setting 做如下操作:
    Add-user-defined

    加入如下参数:

GCC_THUMB_SUPPORT:NO 
GCC_USE_INDIRECT_FUNCTION_CALLS:NO 
UNITY_RUNTIME_VERSION:2018.2.3f1  <--这个值可能不一样,根据自己unity-demo来 
UNITY_SCRIPTING_BACKEND: il2cpp

结果:
Add-user-defined
  • 10 build Setting --> bitcode关闭
  • 11 添加依赖库,根据demo 来:


    依赖库,根据demo来

Demo封装(以上编译成功再做如下操作)

#import <UIKit/UIKit.h>
@class DTPUnityController;

@interface AppDelegate : UIResponder <UIApplicationDelegate>

@property (nonatomic, strong) UIWindow *window;
@property (nonatomic , strong)UIWindow *unityWindow;
@property (nonatomic, strong) DTPUnityController *unityController;
- (void)showUnityWindow;
- (void)hideUnityWindow;

@end

AppDelegate.mm:

#import "AppDelegate.h"
#import "DTPUnityController.h"

@interface AppDelegate ()

@end

@implementation AppDelegate


- (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions {
    
    _unityController = [[DTPUnityController alloc]init];
    return YES;
}

#pragma mark ---------------unity开启与隐藏
- (UIWindow *)unityWindow
{
    if (!_unityWindow) {
        if (!UnityGetMainWindow()) {
            _unityWindow = [[UIWindow alloc]initWithFrame:[UIScreen mainScreen].bounds];
        }else{
            _unityWindow = UnityGetMainWindow();
        }
    }
    return _unityWindow;
}
- (void)showUnityWindow
{
    [self.unityWindow makeKeyAndVisible];
}

- (void)hideUnityWindow
{
    [self.window makeKeyAndVisible];
    [self.unityController pauseUnity];
}

@end
  • 2.新建一个类 DTPUnityController 继承自 UnityAppController 以下是 .h 内容:
#import "UnityAppController.h"

@interface DTPUnityController : UnityAppController

+ (instancetype)instance;

- (void)initUnity;

- (void)pauseUnity;

- (void)startUnity1;

- (BOOL)isPaused;

@end

.m 内容:

#import "DTPUnityController.h"

#import "UnityAppController.h"
#import "UnityAppController+ViewHandling.h"
#import "UnityAppController+Rendering.h"

#import "DisplayManager.h"
#import "UnityView.h"

#include "RegisterMonoModules.h"
#include "RegisterFeatures.h"
#include <csignal>
#import "AppDelegate.h"

@interface DTPUnityController()

@property (nonatomic, assign) BOOL isInitUnity;

@end

@implementation DTPUnityController

+ (instancetype)instance {
    AppDelegate *delegate = (AppDelegate *)[UIApplication sharedApplication].delegate;
    return delegate.unityController;
}

- (instancetype)init
{
    self = [super init];
    if (self) {
        self.isInitUnity = NO;
        // 注册Unity的事件
        [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(appDidBecomeActive:) name:UIApplicationDidBecomeActiveNotification object:nil];
        [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(appWillEnterForeground:) name:UIApplicationWillEnterForegroundNotification object:nil];
        [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(appWillResignActive:) name:UIApplicationWillResignActiveNotification object:nil];
        [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(appWillTerminate:) name:UIApplicationWillTerminateNotification object:nil];
        [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(appDidReceiveMemoryWarning:) name:UIApplicationDidReceiveMemoryWarningNotification object:nil];
        
    }
    return self;
}

void UnityInitTrampoline();

- (void)initUnity {
     AppDelegate *delegate = (AppDelegate *)[UIApplication sharedApplication].delegate;
    if (!self.isInitUnity) {
        
        [super applicationDidBecomeActive:[UIApplication sharedApplication]];
        
        UnityInitApplicationNoGraphics([[[NSBundle mainBundle] bundlePath] UTF8String]);
        [self selectRenderingAPI];
        [UnityRenderingView InitializeForAPI: self.renderingAPI];

        _window = delegate.unityWindow;
        _unityView      = [self createUnityView];
        
        [DisplayManager Initialize];
        _mainDisplay    = [DisplayManager Instance].mainDisplay;
        [_mainDisplay createWithWindow: _window andView: _unityView];
        
        [self createUI];
        [self preStartUnity];
        self.isInitUnity = YES;
        
        _unityView.back = ^{
            [delegate hideUnityWindow];
        };

    }else{
        [self startUnity1];
    }
     [delegate showUnityWindow];
}

- (void)pauseUnity {
    UnitySendMessage("ARCamera", "Exit", "");  // 调Unity方法 退出模型 (与unity交互)
    UnityPause(1);
}

- (void)startUnity1 {
    UnityPause(0);
}

- (BOOL)isPaused {
    if (UnityIsPaused() == 1) {
        return YES;
    }
    else {
        return NO;
    }
}

-(void)applicationDidFinishLaunching:(UIApplication *)application{
    
}

- (void)appWillEnterForeground:(NSNotification *)notification {
    [super applicationWillEnterForeground:[UIApplication sharedApplication]];
}

- (void)appDidBecomeActive:(NSNotification *)notification {
    if (nil == self.unityView) {
        return;
    }
    [super applicationDidBecomeActive:[UIApplication sharedApplication]];
}

- (void)appWillResignActive:(NSNotification *)notification {
    [super applicationWillResignActive:[UIApplication sharedApplication]];
}

- (void)appWillTerminate:(NSNotification *)notification {
    [super applicationWillTerminate:[UIApplication sharedApplication]];
}

- (void)appDidReceiveMemoryWarning:(NSNotification *)notification {
    [super applicationDidReceiveMemoryWarning:[UIApplication sharedApplication]];
}


@end
    1. 调整demo代码,扫描页面添加返回按钮callback(UnityView.h):
点击返回退出的回调

UnityView.mm 添加返回按钮UI, addBackBtn 方法在initWithFrame中调用:

- (void)addBackBtn{
    UIButton *backBtn = [UIButton buttonWithType:UIButtonTypeCustom];
    backBtn.frame = CGRectMake(20, 20, 70, 40);
    [self addSubview:backBtn];
    [backBtn setTitle:@"< 返回" forState:UIControlStateNormal];
    [backBtn setTitleColor:[UIColor whiteColor] forState:UIControlStateNormal];
    [backBtn addTarget:self action:@selector(touchEvents) forControlEvents:UIControlEventTouchUpInside];
}

- (void)touchEvents{
    if (self.back) {
        self.back();
    }
}

------------------------------------->>

  • 4.在UnityAppController.h 中按如图修改:
    修改方法
  • 5.在ViewController中添加开启AR代码:
- (IBAction)startAR:(id)sender {
    
    DTPUnityController *vc = [DTPUnityController instance];
    [vc initUnity];
}

以上就是全部过程了。

问题汇总

    1. 第一次运行demo 扫描后发现可以播放,但没有声音,音量也开到最大,以为是bug,找了好久,后面同事提示是否手机开了静音,煞笔了。。。。
    1. 当配置环境时,出现各种头文件引用报错,看是否引用了C C++代码 是的话看下文件是否.mm 结尾,不是的话要相应做修改 。另外,多数情况是Header Search Paths 路径有误,pch 文件合并,还有frameWork路径带来的报错,当然还有build setting 中的 C Language 设置。
    1. 有些报错还是无法解决,只能重新弄个工程集成了,xcode有时会抽风。
    1. 初始化在main 函数里面进行了,然后没找到返回按钮的退出api,只能暂停,然后调用unity 的移除模型api (若没有需要与unity 工程师沟通)。
    1. 最大的坑就是好不容易集成了,扫描无反应,扫描的图片都是需要在官网先注册的,然后有对应的.dat .xml 文件,扫描不了就是这两个文件路径有问题,具体路径设置代码在哪,还希望广大高手指出,非常感激。
    1. 项目多Target时,Target名不能为中文,否则会 EXC_BAD_ACCESS 闪退,原因尚且不知。

---------------------------------后续补充内容---------------------------------------------------

    1. 当xcode集成的unity工程有改动需要替换时,只需将新导出的unity包内的Data与Classes中的Native 2个文件夹替换即可。
    1. Xcode 11 中修改app名,需在info.plist中修改 bundle Display Name,直接在General 中修改Display Name,并且如果带有中文的话,进入unity 会在"initQCARiOS" 处出现EXC_BAD_ACCESS 的错误。原因是Xcode 11 在G general 中修改app名,会连同Product Name 一起修改。此外,引入Vuforia.framework及VuforiaDL.framework时,应设置为Embed & Sign。
    1. AR 扫一扫出现黑屏,有可能是vuforia 购买的key 过期了。另外,替换新key 后,还要检查unity 中的设置: 1.去掉metal 只保留openGLES 2.0,2.ARCamera 中不勾选Allow MSAA,勾选Allow HDR.
    1. 以上集成,可能也会出现报错,可以试着调整build-setting 中的 C Language Dialect 选项,一般为GNU99,来回切换下,可能会有效。
    1. 集成unity 后,打包出来的ipa 包普遍很大,只保留arm64 架构可以减少很多。
    1. 编译出现prinft_console 报错,找到对应代码,注释即可。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 196,165评论 5 462
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,503评论 2 373
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 143,295评论 0 325
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,589评论 1 267
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,439评论 5 358
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,342评论 1 273
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,749评论 3 387
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,397评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,700评论 1 295
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,740评论 2 313
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,523评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,364评论 3 314
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,755评论 3 300
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,024评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,297评论 1 251
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,721评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,918评论 2 336

推荐阅读更多精彩内容