Deep Belief Network(DBN)的实现(c++)
2013年09月23日⁄创业,技术,科研⁄ 共 1557字⁄评论数 24⁄ 被围观 8,650+
每每想到几年前写一篇关于Action Classification的paper的时候，苦于没有找到好的feature representation方法而失败了。那时候记得也是想表示成一层一层的特征出来，当时用了关联规则挖掘，效率没法克服；然后上了topic model的思想来组织图像，没做到点子上。现在想想也许当时多实验试验Hierarchical topic model的思想说不定能搞出点名堂。
去年Deep Learning被轰出来之后，在个方便都自然的取得了比较理想的效果。想到了自己之前的问题，或许可以借来用用。
所以，最近接触了Deep的思想，学习并实现了下。先从hinton最初的DBN着手，实现起来还是比较简单的。虽然有很多实现了，考虑的长远的规划，先自己实现着吧。
代码风格Too young, too simple, sometimes naive and many bugs. 不要笑话哈~；框架参考自：yusugomori，不过他没写完的样子。。
一、实现：
1、Layer-wise pre-training阶段，一层一层的训练Restrict Boltzmann Machine （RBM），用的CD-k(k=1)的方法；
2、最后一层加入了softmax regression，作为最终结果输出层；
3、fine-tuning过程，即为传统的BP过程。
二、实验
1、用的MNIST的数据集，这里为了可以忍受自己写的幼儿园水平代码的效率，选择10000个样本training，60000个样本testing。不过传统上大家都把两者反过来，效果肯定会更好了。
2、学习速率0.1，rbm和LR的L2的惩罚相lamda开始用的0.0002，三个隐层大小[400 400 900],这些都没调
3、开始时候没有进行fine-tuning， accuracy大约在84%左右（不过这里是用的svm，当时lr还没写完。。），现在fine-tuning之后，用softmax regression对60000个样本分类结果为93%，还可以哈。不过把L2正则项的惩罚因子lamda设成0后，准确率到了95%。
4、调调参，或者用60000训练10000测试，达到95%以上应该没啥问题吧。
三、源码：https://github.com/lipiji/PG_DEEP
1、想做成像libsvm一样好用的tool，一个train可以训练出模型，一个predict可以预测你的数据，目前还在开发当中。
2、源码风格比较幼儿园，好处就是能够看懂每个细节，方便学习吧；怪自己一直没有遇到什么c++鲁棒规范实践的项目。
3、代码没有进行任何矩阵等计算的优化，优化空间很大。
四、计划
1、优化代码，理想是做一个像libsvm一样方便大家使用的tool；
2、学习实现DNN, AutoEncoder和Sparse Coding啊，convolution啊、dropout啊、GPU啊等等其他升级版本；
3、能够再次基础上扩展出vision、nlp等领域里面的那些好用的算法，例如word2vec等。
五、附录
1、第一层RBM的参数矩阵W1（768x400）可视化结果，W2、W3可视化跟随机噪声似的，或许应该用其他方法可视化。不过看着怎么不太舒服的样子，之所以有很多白色的区域，是因为引入正则项防止过拟合，体现了一定的稀疏性。正则项的惩罚因子设成0后，白色区域就消失了。
PS：有bug大家反馈哈~
Reference:
[1] A fast learning algorithm for deep belief nets
[2] A Practical Guide to Training Restricted Boltzmann Machines
