在iOS上接入Tensorflow

前言

Tensorflow是goole开源的一套机器学习库,本篇文章并不介绍通过Tensorflow来生成预测模型,而是简单的介绍一下在iOS上接入通过Tensorflow生成好的预测模型,一般即.pd文件。

脚本生成.a静态库

首先下载Tensorflow的项目,项目地址。然后在Readme里找到iOS部分,里面有说明需要安装哪些工具和如何生成静态库(这里会下载一些编译的依赖库,可能需要翻墙)。

我这里直接使用tensorflow/contrib/makefile/build_all_ios.sh -a arm64来生成一个只支持真机arm64的库,这样快一点节省时间。不然构建全部架构的话起码需要两个小时。

如果你之前已经下载过一遍依赖,再次构建的话可以使用tensorflow/contrib/makefile/build_all_ios.sh -a arm64 -T,那样的话就不会下载那些依赖了,直接进入编译过程。

构建完成之后我们就能在
tensorflow/contrib/makefile/gen/lib
tensorflow/contrib/makefile/gen/protobuf_ios/lib
tensorflow/contrib/makefile/downloads/nsync/builds/lipo.ios.c++11
下找到生成好的静态库。

如果你要支持两个架构那可以单独生成两个架构的.a静态库后,使用lipo来合并:

lipo libtensorflow-core-armv7s.a libtensorflow-core-arm64.a -create -output libtensorflow-core.a

引入TensorFlow静态库

引入TensorFlow库有两种方式,一种是通过cocoaPods来管理,优点就是接入简单方便,缺点是包有点大,因为它支持了你所有的机型架构(i386sim, x86_64sim, armv7, armv7s and arm64)。

所以另一种就是通过TensorFlow的一个脚本自己来生成静态库,然后自己引入工程里面,缺点就是稍微繁琐一点,需要自己生成静态库,还有配置Header search pathsOther Linker Flags等。优点就是可以自己选择适配哪些架构,有效的减小包的大小。

cocoaPods引入.framework静态库

创建一个新项目,然后在Podfile里引入pod 'TensorFlow-experimental',然后在你要使用TensorFlow的类里引入对应的头文件,如下:

#import "ViewController.h"

#include "tensorflow/core/framework/op_kernel.h"
#include "tensorflow/core/public/session.h"

然后我们会发现编译错误,因为我们引入的TensorFlow是C++的代码,所以你调用的类的文件后缀.m改为.mm

主工程引入.a静态库

我们在Tensorflow文档里的Creating your Own App from your source libraries下可以看到整个链接生成的静态库的过程。

  1. 链接静态库路径

Other Linker Flags里链接入四个库libtensorflow-core.alibprotobuf-lite.alibprotobuf.ansync.a,分别在目录
tensorflow/contrib/makefile/gen/lib/
tensorflow/contrib/makefile/gen/protobuf_ios/lib
tensorflow/contrib/makefile/downloads/nsync/builds/lipo.ios.c++11下面。

这里我把这三个库都复制到我的Demo里,所以在Other Linker Flags里加入的路径是
${SRCROOT}/DSTensorflow/SDK/libtensorflow-core.a
${SRCROOT}/DSTensorflow/SDK/libprotobuf-lite.a
${SRCROOT}/DSTensorflow/SDK/libprotobuf.a
${SRCROOT}/DSTensorflow/SDK/nsync.a

  1. 设置Header Search paths

它文档里写的是加入以下路径里的头文件
the root folder of tensorflow,
tensorflow/contrib/makefile/downloads/nsync/public
tensorflow/contrib/makefile/downloads/protobuf/src
tensorflow/contrib/makefile/downloads,
tensorflow/contrib/makefile/downloads/eigen, and
tensorflow/contrib/makefile/gen/proto.

但是如果把这整个tensorflow文件夹加到版本管理里,那么就太大了,整个tensorflow有六七百兆。所以我删除了一些文件,只留下一些需要的文件,所以我工程里的路径是:

"${SRCROOT}/DSTensorflow/SDK"
"${SRCROOT}/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads"
"${SRCROOT}/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/eigen"
"${SRCROOT}/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/protobuf/src"
"${SRCROOT}/DSTensorflow/SDK/tensorflow/contrib/makefile/gen/proto"
"${SRCROOT}/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/nsync/public"

  1. 加入-force_load
    Other Linker Flags${SRCROOT}/DSTensorflow/SDK/libtensorflow-core.a路径前面加入-force_load

  2. 加入Accelerate framework
    Link Binary with Libraries"里加入Accelerate framework

  3. 支持C++
    设置C++ Language Dialect为GNU++11 (or GNU++14),设置C++ Standard Librarylibc++

  4. 设置bitcode为NO

  5. 移除Other Linker Flags里的-all_load(如果有的话)

私有Pod引入.a静态库

我们上面说的是在主工程引入TensorFlow的库,但是如果你一个私有的Pod仓库依赖了这个TensorFlow库,那么在引入头文件的时候就会报错。因为你私有Pod的targets对应的build setting并没有设置相关的Header Search Paths,私有pod在寻找头文件的时候是根据自己target里的Header Search Paths来索引的。

我们可以看到TensorFlow-experimental.podspec里的xcconfig是怎么给主工程设置的:

"xcconfig": {
    "HEADER_SEARCH_PATHS": "'${SRCROOT}/Pods/TensorFlow-experimental/Frameworks/tensorflow_experimental.framework/Headers' '${SRCROOT}/Pods/TensorFlow-experimental/Frameworks/tensorflow_experimental.framework/Headers/third_party/eigen3'",
    "OTHER_LDFLAGS": "-force_load '${SRCROOT}/Pods/TensorFlow-experimental/Frameworks/tensorflow_experimental.framework/tensorflow_experimental' '-L ${SRCROOT}/Pods/TensorFlow-experimental/Frameworks/tensorflow_experimental.framework' -lprotobuf_experimental"
  }

podspec有三个相关的参数用来配置build setting,分别为xcconfig(设置主工程和当前pod的build setting)、pod_target_xcconfig(修改当前pod的build setting)、user_target_xcconfig(修改主工程的build setting)。

所以你如果要设置你调用Tensorflow那个私有pod的build setting,则需要使用pod_target_xcconfig,比如我demo里面在DSTensorflow.podspec里设置如下:

s.preserve_paths = 'DFCVinScanner/SDK/**/*'
s.frameworks = 'Accelerate'
s.pod_target_xcconfig = {"HEADER_SEARCH_PATHS" => "$(inherited) '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK' '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads' '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/eigen' '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/protobuf/src' '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK/tensorflow/contrib/makefile/gen/proto' '$(PODS_TARGET_SRCROOT)/DSTensorflow/SDK/tensorflow/contrib/makefile/downloads/nsync/public'"}
s.user_target_xcconfig = {"OTHER_LDFLAGS" => ['$(inherited)', '$(PODS_ROOT)/DSTensorflow/DSTensorflow/SDK/nsync.a', '-force_load', '$(PODS_ROOT)/DSTensorflow/DSTensorflow/SDK/libtensorflow-core.a', '$(PODS_ROOT)/DSTensorflow/DSTensorflow/SDK/libprotobuf-lite.a', '$(PODS_ROOT)/DSTensorflow/DSTensorflow/SDK/libprotobuf.a']}

注意:

  1. 我的OTHER_LDFLAGS是使用user_target_xcconfig,因为静态库的链接都是主工程来进行链接,然后HEADER_SEARCH_PATHS使用的是pod_target_xcconfig,pod的target在寻找头文件的时候是在自己的build setting里的HEADER_SEARCH_PATHS里配置的路径进行寻找的。

  2. 我们在本地调试的时候podfile里写的是本地podspec的路径pod 'DSTensorflow', :path => '../',所以在我们的demo里的Pods文件夹下面并不会有DSTensorflow这个文件夹,而我们的HEADER_SEARCH_PATHSOTHER_LDFLAGS的路径为Pods/DSTensorflow下的路径,所以为了可以调试,我就手动把那些文件复制进了这个文件夹下面。当然如果你到时候这个私有pod正常发布的了,使用pod 'DSTensorflow'这样正常依赖的话,Pods/DSTensorflow下就会有对应的文件了。

简单的接入Tensorflow的Demo


Tensorflow编译静态库脚本解析

tensorflow-r1.8/tensorflow/contrib/makefile/build_all_ios.sh这个就是创建静态库的脚本,它主要有以下3个参数-a -g -T

Usage: build_all_ios.sh [-a:T]
-a [build_arch] build only for specified arch x86_64 [default=all]
-g [graph] optimize and selectively register ops only for this graph
-T only build tensorflow (dont download other deps etc)

-a我们之前已经说过了主要用来确定生成对应架构的静态库,默认为生成所有架构的静态库

-T表示是否只build tensorflow的静态库,因为它默认需要下载一些依赖库,工具库来帮组build,但是如果已经下载过了,第二遍build的时候其实就不用下载了,这时候就可以用这个参数,这样可以加快速度。

-g表示只选择注册某些你这个模型需要的op操作,这个如果不选的话,你在调用你的模型的时候,有些模型就会报No OpKernel was registered to support Op xxx的错误,表示你这个静态库并不支持这个op操作。
我们也可以自己调用脚本来看看你的模型需要哪些op:

执行以下操作下载对应的工具:
$ bazel build --copt="-DUSE_GEMM_FOR_CONV" tensorflow/python/tools/print_selective_registration_header

执行以下操作得到你模型需要的op,并生成ops_to_register.h(tensorflow在创建静态库的时候就会用到这个文件):
$ bazel-bin/tensorflow/python/tools/print_selective_registration_header --graphs=Users/you-path/graph.pb > tensorflow/core/framework/ops_to_register.h

一个完整的例子如下:

tensorflow/contrib/makefile/build_all_ios.sh -a arm64 -g Users/you-path/graph.pb -T

问题

No OpKernel was registered to support Op 'Conv2D'


参考

iOS 平台 TensorFlow 实践:实际应用教程(附源码)(二)
TensorFlow Mobile模型压缩
解决No OpKernel was registered to support Op 'Less' with these attrs问题源码

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容