神经网络拥有很强的预测能力,但它们往往无法知道自己的预测何时可能出错。与此密切相关的是out-of-distribution检测任务,在这个任务...
BERT是在OpenAI GPT基础上发展起来的,是一种动态词向量技术。与传统静态词向量不同,动态词向量可以根据具体的上下文信息,动态生成词向量...
作者:Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Yoshua Bengio 来...
介绍 我们使用一些传统的监督学习方法做分类的时候,往往是训练样本规模越大,分类的效果就越好。但是在现实生活的很多场景中,标记样本的获取是比较困难...
这篇文章与Self-Attention with Relative Position Representations和Convolutional...
Introduction 作者认为好的word representation模型应该同时兼顾两个问题:一是词语用法在语义和语法上的复杂特点;二是...
这篇文章虽然写的是Image Recognition,但是它提出残差网络的思想在其他任务中也有很多应用,具有广泛的借鉴意义。 背景 随着网络结构...
这篇文章作者是word2vec的作者,主要做的工作是paragraph vector,就是把paragraph变成一个固定长度的向量。其中大量的...
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention wi...