Perform one iteration (epoch) of Neural Network training with mini-batch Stochastic Gradient Descent. The training targets are usually pdf-posteriors, prepared by ali-to-post.
Usage: nnet-train-frmshuff [options] <feature-rspecifier> <targets-rspecifier> <model-in> [<model-out>]
e.g.: nnet-train-frmshuff scp:feats.scp ark:posterior.ark nnet.init nnet.iter1
// main loop
while (!feature_reader.Done()) {
//填满各个randomizer
for ( ; !feature_reader.Done(); feature_reader.Next()) {
// 一次循环读一句话
// 特征放在feature_randomizer里
// targets放在targets_randomizer里
// 每一帧、每一句相关的weights放在weights_randomizer里
// 如果feature_randomizer被填满的话，退出该for循环，进行一次训练
// feature_randomizer的大小由相关NnetDataRandomizerOptions类的成员变量randomizer_size（默认初始化为32768）决定
// 也就是feature_randomizer中一共可以存放32768帧，存满后就进行训练
// 可以通过参数 --randomizer-size指定其大小
}
// 对feature_randomizer里的帧进行随机重排
// 对target_randomizer和weights_randomizer也进行随机重排
// 对randomizer里的数据进行训练（使用mini-batches）
// 几个randomizer的Next()将指向实际数据开始位置的指针移动一个minibatch的大小
for ( ; !feature_randomizer.Done(); feature_randomizer.Next(),
targets_randomizer.Next(),
weights_randomizer.Next()){
// 拿出一个minibatch大小的feature/target对
// 跑网络的前向
nnet.Propagate(nnet_in, &nnet_out);
// 根据目标函数的类型，估计前向输出和实际target的diff
// 支持的目标函数类型：交叉熵xent，mse和multitask
// 以xent为例：
xent.Eval(frm_weights, nnet_out, nnet_tgt, &obj_diff);
// 跑网络的反向（如果不是cv（交叉验证））
nnet.Backpropagate(obj_diff, NULL);
// 如果是第一个minibatch，打印网络的相关信息
}
}
// 如果是最后一个minibatch，打印网络的相关信息
// 将nnet写到文件（如果不是cv）
// 打印和目标函数相关的一些信息
所有的Randmoizer都根据mask进行随机化
/**
* Generates randomly ordered vector of indices,
*/
class RandomizerMask
/**
* Shuffles rows of a matrix according to the indices in the mask,
*/
class MatrixRandomizer
下一步学习重点：
Nnet类的几个成员函数（nnet/nnet-nnet.h）
// 跑网络的前向
nnet.Propagate(nnet_in, &nnet_out);
// 根据目标函数的类型，估计前向输出和实际target的diff
// 支持的目标函数类型：交叉熵xent，mse和multitask
// 以xent为例：
xent.Eval(frm_weights, nnet_out, nnet_tgt, &obj_diff);
// 跑网络的反向（如果不是做cv（交叉验证））
nnet.Backpropagate(obj_diff, NULL);
