2017 · EMNLP · Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
想法来源:从自然语言推理的encoder中得到sentence embedding的表示。
价值:证明了NLI 迁移的可行性
方法:从NLI数据集上面训练的encoder模型,迁移到其他任务。
缺点:
详细方案:
-
基本的NLI模型结构
-
使用7种主流的encoder方法
在主流的几个任务中进行测试,其中包括多分类,二分类,相似度评测(Spearman/pearson matric),caption image retirval.
数据集:
全部都在FB的Github SentEval
实验:
-
实验首先证明了哪个encoder表现较好
-
证明了NLI数据预训练的可行性
研究了embedding size 的影响
- 最后比较了在Image Caption retrieval上的结果