2018 · ACL · What you can cram into a single $&!#* vector-Probing sentence embeddings for linguistic properties
想法来源:实验探索类文章
价值:探索了几个主流模型的embedding究竟学到了什么。
方法:
缺点:
详细方案:
- 定义了三个大的任务
- 表层信息:句子长度(Senlen)、包含某词否(WC)
- 句法信息:调换词位置,是否符合语法(BShift)。判断句子句法树深度(TreeDepth)
- 语义信息:预测时态(Tense)、主句中主语数量(SubjNum)、宾语数量(ObjNum)、替换句子中的动词名次判断是否modiied(SOMO)。
2.查看模型训练出来的embedding在任务上的表现。
数据集:
自定义数据集
实验:
-
准确率实验
- 收敛速度