本次学习心得:
学习了怎样可以容易的对各类别的语义特征进行可视化,并且认识到其相关情况所含有的寓意,也学会了几个不错的工具库:t-SNE、UMAP、plotply。其中也认识到了降维的重要性,能更直观的将各类别之间的差异性和相关性表示出来。
计算测试集图像语义特征
抽取Pytorch训练得到的图像分类模型中间层的输出特征,作为输入图像的语义特征,计算测试集所有图像的语义特征,使用t-SNE和UMAP两种降维方法降维至二维和三维,可视化,分析不同类别的语义距离、异常数据、细粒度分类、高维数据结构,代码由子豪同学开源
测试集语义特征t-SNE降维可视化和测试集语义特征UMAP降维可视化
将之前训练好的模型导入,结合上一步计算好的语义特征模型,将语义特征模型通过t-SNE和UMAP降为2维,对其二维特征图进行数据可视化,如下图所示:
由上两图可以看到一些特异值。还有挨近的类别之间,语义特征相似,并且当二维图中若相同类型的点比较发散,证明,该类别的语义特征可能比较多样化或是这个图可能出错。
plotply交互式可视化
该功能可以将生成的语义特征点通过二维或是三维表示出来,当我们找到特异点时,我们只用将鼠标放在那个点上就可以显示出那张图的名称,并且在三维的图像中我们可以对图像进行拖拽,观察各特征点之间的关系,