论文阅读：《A Broader Study of Cross-Domain Few-Shot Learning》

三月啦！我又来更新论文阅读了~下一次更新应该是回学校啦！
好快~一个年就过了要收心学习啦！
这次还是小样本域适应的文章。

论文名称：
《A Broader Study of Cross-Domain Few-Shot Learning》
论文地址：https://arxiv.org/abs/1912.07200
论文阅读参考：
https://zhuanlan.zhihu.com/p/257805250?utm_source=qq
https://52zju.cn/?p=191359
https://www.jarvis73.com/2020/05/28/Cross-Domain-FSL/
论文代码：https://github.com/IBM/cdfsl-benchmark
本篇文章只记录个人阅读论文的笔记，具体翻译、代码等不展开，详细可见上述的链接.

Background

While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical image
虽然对跨域小样本学习的研究存在，但这些大都仅限于仍然包含高度视觉相似性的自然图像。目前还没有研究在现实世界场景中看到的不同成像方法（如航空成像和医学成像）中小样本学习的工作。
与DNN相比, 人类在某些情况下可以快速地从少量样本中学习新的类别, 如:1.类别在样本间表现出可预测的变化时2.前景与背景的对比比较明显时
但人也不是万能的, 在遇到(与之前完全不同的)全新的领域或场景时也会表现得不如人意, 如:1.航空成像2.医学影像诊断
所以此刻做小样本的跨域具有较大的意义。

Work

Contributions
1.We establish a new Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of images from a diversity of image types with varying dissimilarity to natural images, according to 1) perspective distortion, 2) the semantic content, and 3) color depth.
2.we extensively evaluate the performance of current meta learning methods, including methods specifically tailored for cross-domain few shot learning, as well as variants of fine-tuning.
3.we find that accuracy of all methods correlate with the proposed measure of data similarity to natural images, verifying the diversity of the problem repre�sentation, and the value of the benchmark towards future research.
1.我们建立了一个新的更广泛的跨域小样本学习(BSCD-FSL)基准，包括来自不同图像类型的图像，与自然图像不同,它根据的标准有：
1)透视失真，2)语义内容，3)颜色深度
2.我们广泛地评估了当前元学习方法的性能，包括专门为跨域小样本学习量身定做的方法，以及微调的变体
3.我们发现，所有方法的准确性都与所提出的与自然图像的数据相似性度量相关联，验证了问题表示的多样性，以及基准的值展望未来的研究。

Related work
1.Few-shot learning
2.Domain Adaptation
3.Cross-domain Few-shot Learning

Cross-Domain Few-Shot Learning Formulation
我们定义”域” P 为输入空间 X 和标签空间 Y的联合分布. $P_X$ 表示边际分布. 令 (x,y) 表示 P 中的一个样本 x 和对应的标签 y
. 那么对于模型 $f_θ:X→Y$ 和损失函数 $l$ , 期望误差为
$ϵ(f_θ)=E_{(x,y)∼P}[l(f_θ(x),y)].$ 在 CS-FSL 中, 我们有源域 $(Xs,Ys)$ 和目标域 $(X_t,Y_t)$ 以及对应的联合分布 $Ps$ 和 $P_t$ , 并且 $P_{X_s}≠P_{X_t}$ .
Base 类的数据从源域采样,Novel 类的数据从目标域采样.
训练时, 模型在 Base 类数据上训练.
测试时, 模型在 Novel 类数据上测试. 其中会提供支撑集(support set)
包含 K 个类别, 每个类别 N 个带标签的样本, 称为 K-way N-shot 的少样本学习. 在模型适应到支撑集后使用查询集(query set)测试.

Model
这部分分为元学习方法和迁移学习方法
1.元学习

注：在 meta-learning 中潜在的存在这样的假设: $P_{X_s}=P_{X_t}$ , 这也是在跨域的时候表现差的原因
2.迁移学习

注：多模型的方法也就是本文实验提出的一个模型。我们描述的方法不需要改变模型是如何训练的，并且是一种现成的解决方案，可以利用现有的预先训练的模型进行跨域小样本学习，而不需要访问源数据集。
关于I（分类器筛选详解）：
在第一阶段，对于每个预先训练的模型，我们在每个层单独生成的特征向量上建立一个训练线性分类器，并选择相应的层，在支持集S上使用五倍交叉验证来达到最低的平均误差。本质上，第一阶段的目标是找到给定任务的每个预训练模型的最有效的层，以减少搜索空间降低过度拟合的风险。
第二阶段，把 $I_1$ 中的层累进式地加入 I, 可以降低误差则保留, 否则丢弃。最后，我们将每一层生成的特征向量连接在集合I中，并训练最终的线性分类器

Experiment

Datasets:
农业: CropDiseases 2 彩色, 自然图像, 有自身的特点 (相似度 ⭐⭐⭐⭐)
卫星图: EuroSAT 3 彩色, 自然图像, 无透视变形 (相似度 ⭐⭐⭐)
皮肤病: ISIC2018 4 彩色, 医学影像, 无透视变形 (相似度 ⭐⭐)
X光片: ChextX 5 灰度, 医学影像, 无透视变形 (相似度 ⭐)

Resulet:
元学习：

1.不同元学习模型在同一中目标域下的表现相近，而同一种元学习模型在2.不同目标域下的性能表现有明显差距，甚至60%的准确率差距；
随着目标域与源域相似度的逐渐增加，各个模型性能表现整体有较大幅度提升；
3.最先进的元学习方法MetaOpt没有比早期的元学习模型表现的更好；

单模型：

微调所有层（Ft all）：使用标准的监督学习调整新任务的所有预训练参数；
微调last-k（Ft last-k）：只有预训练模型的最后k层针对新任务进行优化，在本文中只考虑微调last-1、微调last-2、微调last-3；
Transductive fine tuning（Transductive Ft）：查询图像的统计信息通过BN来使用；

多模型

ENDing~
三月好运！