2018 · ICLR · AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS ·
想法来源:文章从分布式假说和这些工作中得到灵感,将预测输入句上下文的问题重构为一个分类问题,提出了一种简单高效的句子表示学习框架:给定一个句子和它出现的上下文,分类器根据其向量表示将它从一系列对比句中挑选出来。
价值:对比Skip thought,在性能上提升了很多,performance也有提升
方法:那原本的decoder问题,改造成了一个分类问题。
缺点:计算成本过高。
详细方案:
Origin skip thought:
This paper
数据集:
1.BookCorpus dataset
2.UMBC
实验:
-
downstream task
1.1 无监督方法
1.2 有监督方法
- 图像
-
最近邻case