原文:Data fusion through cross-modality metric learning using similarity-sensitive hashing(CVPR 2010)
文章工作:提出一种利用多模态数据,进行相似度敏感哈希的方法,其中各个哈希函数之间用boosting的思想进行提升。
其算法如下:n为哈希函数的个数,K为每对样本权重,也即相似度矩阵每个位置的权重。
该算法的运作:首先用随机映射初始化,将原始数据哈希,得到各个模态的哈希码,利用该哈希码和定义的多模态数据融合方式得到相似度矩阵,其融合如下:
利用这个相似度矩阵得到下一个哈希函数的权重,再用随机映射产生下一个映射函数如此继续。。。
各个哈希函数的权重学习完之后,利用多模态数据产生哈希码的过程:
其中p和q是用随机的方式产生的,利用最大化C的方式得到a和b。
总结:不学映射矩阵,类似LSH;学习各个哈希函数的权重,基于贪心策略。多模态融合,利用多模态数据的一致性。