代码地址

摘要

We propose extracting sets of spatial and temporal local features from subgroups of joints, which are aggregated by a robust method based on the VLAD algorithm and a pool of clusters. Several feature vectors are then combined by a metric learning method inspired by the LMNN algorithm with the objective to improve the classification accuracy using the nonparametric k-NN classifier.

将全身的骨骼节点分为不同的子组，可以更好的提取特征

image.png

In the first stage we extract local features, which are then aggregated into global representations. In the third stage, all the resulting features are concatenated. Finally, the learning method extract the relevant information for the k-NN classification

特征

第一种是矢量特征，代表了身体某部分的动作特征，

image.png

第二种特征是关节点的相对位置

image.png

image.png

矢量特征的组合出现了三种特征

image.png

相对位置的组合出现了四种特征

image.png

为什么要分组？
First, smaller features tend to be better clustered, and second, it is preferable to use smaller but complementary groups of joints than reducing the feature space

特征聚类的过程

前面已经定义了几种特征，现在要进行聚类

image.png

第一步通过不同初始化k-meas得到不同聚类点。

image.png

For each subgroup we then obtain C sets of k clusters

第二步用PCA

主成分分析（PCA）的原理就是将一个高维向量x,通过一个特殊的特征向量矩阵U，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。也就是说，通过低维表征的向量和特征向量矩阵，可以基本重构出所对应的原始高维向量。
简单理解
The next step consists in applying PCA to local features individually in each cluster. In this step, we apply PCA keeping all the components？？？？？

第三步生成VLAD描述符

VLAD

生成VLAD描述符后，两次度量学习，计算相似性，算出最后的描述符。ML

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。

image.png

原文中github给出的代码中的VLFeat-0.9.20是有问题的，它没有mex文件夹，重新下载就可以了

powerlaw normalization

幂律归一化

参考论文Aggregating local image descriptors into compact codes
BOW的优点

image.png

马氏距离和欧式距离
协方差
马氏距离详解
马氏距离与欧氏距离的区别
协方差矩阵都是正定的,所以一定有逆吧_{用逆矩阵的原因是相当于除去scale对距离的影响,想想一维的情况就应该能理解了}比如说同样距离都是3,但是对于方差大的数据,这个距离就算小了,所以要用距离再除以方差,高维情况就是协方差阵的逆了~

image.png

image.png

image.png

image.png

这是powerlaw的函数图，数值越大被压缩的越厉害。

L2归一化

L2归一化

这里的L2归一化 都是在簇内进行的，也就是在每一个簇内进行数据归一化，让簇内的数据变得标准，而簇间的数据不标准，就是让簇内的关系变强。

pca白化

PCA白化
白化

矩阵表变化过程：
以emg信号为例, 在聚类生成VLAD的过程中，簇内进行PL,PCA 和L2归一化。生成8 x 15 即 120x660的特征矩阵。此时还可以接着进行处理，即对每列进行pca pl L2。这是一组特征的，3组特征就是120x3x660 就是360x660
然后，5次的kmeans的结果分别进行并联。就形成了120x3x5x660 = 1800 x 660 的特征矩阵，并联完后还可以进行pl pca L2

t-SNE数据可视化