MobileNet SSD V2 tflite模型的量化

上回记录了mobilenet ssd v2模型的压缩和转换过程,还留了一个尾巴,那就是模型的量化。这应该也是一个可以深入的问题,毕竟我在查阅资料的时候看到了什么量化、伪量化,whatever。具体的概念和原理不在此赘述(其实就是我也还没研究过。。。),本着工程实用优先的原则,先记录一下量化流程吧,毕竟业务部门只关心能不能上线以及何时上线

书接上文,MobileNet SSD V2模型的压缩与tflite格式的转换 - 简书,因为是tflite模型的量化,所以上文的流程还是需要走一遍的,只是几个地方需要调整一下。

修改配置文件


这次我们需要用到的就是图中的最后一个文件,经过对比,量化模型的配置文件与非量化的区别就在于多了如下几行:

graph_rewriter {

  quantization {

    delay: 48000

    weight_bits: 8

    activation_bits: 8

  }

}

所以如果你不想下载新的文件,在之前的配置文件末尾加上这一部分就可以了。

训练模型

和配置文件类似,加载预训练模型有对应的量化版可以选择,然后就和上文一样训练,一样导出。

~~~~~~~~~~~~~~~~~~~~分割线~~~~~~~~~~~~~~~~~~~

到此为止,得到了训练产生的ckpt以及导出的pb文件。

tflite量化

接下来进入模型量化的核心部分,

第一步,将ckpt转成pb文件,使用的是python export_tflite_ssd_graph.py,会得到tflite_graph.pb和tflite_graph.pbtxt两个文件,这里与之前是相同的;

第二步,将pb转为tflite文件,依旧是进入到tensorflow/contrib/lite/python目录,运行python tflite_convert.py,然而这一次,除了上次设置的参数:

--graph_def_file=XXX/tflite_graph.pb 上一步生成的pb文件地址

--output_file=XXX/xxx.tflite 输出的tflite文件地址

--input_arrays=normalized_input_image_tensor 输入输出的数组名称对于mobilenet ssd是固定的,不用改 

--output_arrays='TFLite_Detection_PostProcess','TFLite_Detection_PostProcess:1','TFLite_Detection_PostProcess:2','TFLite_Detection_PostProcess:3'

 --input_shape=1,XXX,XXX,3 输入的图片大小,需要与配置文件中一致

--allow_custom_ops

还有几个参数需要注意一下:

--inference_type=QUANTIZED_UINT8 默认是FLOAT,量化时需要改为QUANTIZED_UINT8

--mean_values=128 

--std_dev_values=128

对于均值和标准差的设置,我找到了一个来自stackoverflow的计算方法:

mean_value = the uint8 value in the range [0, 255] that corresponds to floating point 0.0. So if the float range is [0.0, 1.0], then mean_value = 0.

std_value = (uint8_max - uint8_min) / (float_max - float_min). So if the float range is [0.0, 1.0], then std_value = 255 / 1.0 = 255.

(我试了0,255和128,128这两组,直观感受128,128效果更好,网上也有人实测其他组合效果更加,因此大家还是自己去调参吧)

经过这么一通操作,最后生成的tflite模型仅400+K,精度损失肯定是有的,但我还没有具体去测。

参考

https://blog.csdn.net/qq_26535271/article/details/84930868

Tensorflow Lite toco --mean_values --std_values? - Stack Overflow

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342