https://github.com/FFiot/HWnet
1. 性能提升
* 左侧:多项式线性回归、Tanh激活函数; 右侧:线性嵌入式向量。
* 训练性能提升近百倍。
* 非常接近“全局最优点”。
2. 线性回归在大规模网络中的缺陷
* 每一个数据训练所有参数。
* 每一个参数参与每一次推断。
3. 箱式特征的缺陷
* 分“箱”后，相邻箱过于独立，导致“不圆滑”。
* 稀疏特征导致后端网络规模过大，容易过拟合。
4. 线性嵌入式向量
* 每个值域有各自的向量。
* 对每一个输入值，用所在值域、周边值域的“向量”乘以“权重”和表征。
* 每个向量的“权重”与输入值与值域中点的距离相关。
* 通过设定“takecare”参数，控制周边值域“向量”的"权重"。
* 防止过于“独立”导致的“过拟合”、“不圆滑”。
* 防止过于“takecare”导致拟合能力不足。
* 根据上图可见，当takcare当前值域60%时，只需5个值域的向量参与训练、推断。
5. 多维输入与后端网络
* 有多个输入时，每个输入各自“向量化”, 将结果合并输入后端网络。
* 后端可以是各种网络, 例如：全连接、LSTM......
6. 在线伸缩
* 累计各值域损失: 大于预期的值域进行分裂，小于预期的值域与周围值域合并。
* 线性嵌入式向量的输出维度固定，前端网络伸缩后，后端网络无需重新构建，只需进行少量训练。
7. To Do
* 2周内升级PLUS版本。
