ECCV 2016 person re-identification相关 第四篇
这篇文章大致的idea是把简单的比如color LBP之类的特征通过LSTM网络聚合成highly discriminative representation
优势：
- First, it allows discriminative information of frame-wise data to propagate along the temporal direction, and discriminative information could be accumulated from the first LSTM node to the deepest one， thus yielding a highly discriminative sequence level human representation.
- Second, during feature propagation, this framework can prevent non-informative information from reaching the deep nodes, therefore it is robust to noisy features
- Third, the proposed fusion network is simple yet efficient, which is able to deal with sequences with variable length.
传统的方法，其中一个方面就是度量学习，但是这篇文章通过融合简单特征，生成深层特征，因此，简单的度量比如cos就能产生好的效果。这里我也认为，reID的工作更多的是应该放在如何提取high discriminative 的特征上去。
传统做reID，一般就是先用cnn或者直接提取single的底层特征，然后扔到度量学习层里面训练，然后用得到的模型和度量来做预测。但是这种做法在提取特征的时候没有考虑时间信息，只考虑了空间特征，所以不适合用视频的形式作为输入（multi shot）
本文在的特征采取的是手工特征（color、LBP），因为cnn需要大量的数据作为训练，而现有的训练数据集都比较小，容易过拟合。
主要思想
特征提取
LSTM的输入是手工特征，图片大小resize到128x64 kernal大小是16x8 重叠是8和4 所以对于一个frame出来15*15个结果 LBP有256维，加上HSV和Lab各三维，一共262维， 每个time stamp（本文中一共是10个timestamp）是262x225维的输入 每个time stamp的输出是512维的向量，根据下面的公式算出每个node的信息（i代表输入门 o代表输出门 f代表遗忘门）：
σ是sigmoid函数，·代表element-wise multiplication
采用N-way softmax：
其中：
loss函数是：
此外，由于每个人的sequence的长度可能不一样，因此作者随机抽取固定长度的帧作为输入 这篇文章里取L = 10
timestamp也是10，每个timestamp输出512维的特征，所以整个输出是5120维的。
特征度量
本文中作者采用了余弦距离作为特征度量，也尝试用RankSVM。不过余弦距离就效果不错了
Si和Sj就是5120维的输出
实验结果
缺点分析
仅仅采用color和LBP作为特征还是存在局限性的，如果两个人衣服什么的穿的都很像，并且存在遮挡 光线变化 那么就会容易出现错误
改进
融入更多的特征，或者采用更深的LSTM网络会更好
