https://jackgittes.github.io/2018/08/24/paper-reading-10/
https://zhuanlan.zhihu.com/p/36051603
https://zhuanlan.zhihu.com/p/57410790
https://www.sohu.com/a/232047203_473283
一、常见模型压缩方法
1.蒸馏
2.量化
3.剪枝
4.低秩分解->张量分解
5.TS
二、模型量化
量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。
（一）、Deep Compression
image.png
使用k-measn聚类，让相近的数值聚类到同一个聚类中心，服用同一个数值，从而达到用更少的数值表示更多的数。
