2018 · ICLR · A NEW METHOD OF REGION EMBEDDING FOR TEXT CLASSIFICATION
想法来源:为了挖掘深层的语法信息,利用上下文来表示word,利用n-gram来表示上下文,参数会过多,本文提出的方法可以解决上面的问题。
价值:探索了上下文n-gram对词表示的影响。
方法:新的用上下文表示词embedding的解决方案,一个词对应着一个n-gram上下文矩阵,这个矩阵不随着它的上下文变化而变化,可以挖掘深层语义信息。
缺点:参数过多,不容易训练。
详细方案:一个词,构建一个n-gram矩阵,表示其上下文,这个矩阵不随上下文单词变化而变化,是个维度固定的矩阵。
Word-Context Region Embedding:对于输入的句子其n-gram的上下文,每一个词的embedding,与上下文矩阵中对应位置的列向量做element-wise mul,然后max-pool
Context-Word Region Embedding:对于输入的句子其n-gram的上下文,上下文中的每一个词各自的上下文向量,抽取出当前n-gram核心词的相对位置的列向量,拿出来与上下文矩阵中对应位置的列向量做element-wise mul,然后max-pool
数据集:
- Yelp Review Polarity
- Yelp Review Full
- Amazon Review Polarity
- Amazon Review Full
- AG’s News
- Sogou News
- Yahoo! Answers
- DBPedia
实验:
baseline result
n-gram n的大小和embedding size的影响
详细对比了加入context表示的影响
后面还做了可视化
训练时间,参数规模,收敛速度