Word2Vec 作者、脸书科学家 Mikolov 文本分类新作 fastText：方法简单，号称并不需要深度学习那样几小时或者几天的训练时间，在普通 CPU 上最快几十秒就可以训练模型，得到不错的结果。
0. 基础
0.1 softmax回归
Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广。
在逻辑回归中， 我们有m个被标注的样本：
。我们的假设（hypothesis）有如下形式：
代价函数（cost function）如下：
多分类时候：
0.2 n-gram
在文本特征提取中，常常能看到n-gram的身影。它是一种基于语言模型的算法，基本思想是将文本内容按照字节顺序进行大小为N的滑动窗口操作，最终形成长度为N的字节片段序列。看下面的例子：
我来到达观数据参观
相应的bigram特征为：
我来、 来到 、到达、 达观、 观数、 数据 、据参、 参观
相应的trigram特征为：
我来到、来到达、到达观、 达观数、 观数据、 数据参 、据参观
注意一点：n-gram中的gram根据粒度不同，有不同的含义。它可以是字粒度，也可以是词粒度的。上面所举的例子属于字粒度的n-gram，词粒度的n-gram看下面例子：
我、来到、达观数据、参观
相应的bigram特征为：
我/来到、 来到/达观数据 、达观数据/参观
相应的trigram特征为：
我/来到/达观数据 、来到/达观数据/参观
n-gram产生的特征只是作为文本特征的候选集，你后面可能会采用信息熵、卡方统计、IDF等文本特征选择方式筛选出比较重要特征。
1. fastText 原理
fastText 方法包含三部分：模型架构、层次 Softmax 和 N-gram 特征。下面我们一一介绍。
1.1 模型架构
fastText 模型架构如下图所示。fastText 模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。序列中的词和词组组成特征向量，特征向量通过线性变换映射到中间层，中间层再映射到标签。fastText 在预测标签时使用了非线性激活函数，但在中间层不使用非线性激活函数。
注意：此架构图没有展示词向量的训练过程。可以看到，和CBOW一样，fastText模型也只有三层：输入层、隐含层、输出层（Hierarchical Softmax），输入都是多个经向量表示的单词，输出都是一个特定的target，隐含层都是对多个词向量的叠加平均。
不同的是，CBOW的输入是目标单词的上下文，fastText的输入是多个单词及其n-gram特征，这些特征用来表示单个文档；CBOW的输入单词被onehot编码过，fastText的输入特征是被embedding过；CBOW的输出是目标词汇，fastText的输出是文档对应的类标。
值得注意的是，fastText在输入时，将单词的字符级别的n-gram向量作为额外的特征；在输出时，fastText采用了分层Softmax，大大降低了模型训练时间。
1.2 N-gram 特征
fastText 可以用于文本分类和句子分类。不管是文本分类还是句子分类，我们常用的特征是词袋模型。但词袋模型不能考虑词之间的顺序，因此 fastText 还加入了 N-gram 特征。当然啦，为了提高效率，我们需要过滤掉低频的 N-gram。
word2vec把语料库中的每个单词当成原子的，它会为每个单词生成一个向量。这忽略了单词内部的形态特征，比如：“apple” 和“apples”，“达观数据”和“达观”，这两个例子中，两个单词都有较多公共字符，即它们的内部形态类似，但是在传统的word2vec中，这种单词内部形态信息因为它们被转换成不同的id丢失了。
为了克服这个问题，fastText使用了字符级别的n-grams来表示一个单词。对于单词“apple”，假设n的取值为3，则它的trigram有:
“<ap”, “app”, “ppl”, “ple”, “le>”
其中，<表示前缀，>表示后缀。于是，我们可以用这些trigram来表示“apple”这个单词，进一步，我们可以用这5个trigram的向量叠加来表示“apple”的词向量。
这带来两点好处：
对于低频词生成的词向量效果会更好。因为它们的n-gram可以和其它词共享。
对于训练词库之外的单词，仍然可以构建它们的词向量。我们可以叠加它们的字符级n-gram向量。
1.3 层次 Softmax
在某些文本分类任务中类别很多，计算线性分类器的复杂度高。为了改善运行时间，fastText 模型使用了层次 Softmax 技巧。层次 Softmax 技巧建立在哈弗曼编码的基础上，对标签进行编码，能够极大地缩小模型预测目标的数量。
你可能也发现了，标准的Softmax回归中，要计算y=j时的Softmax概率：
时，只需计算一条路径上的所有节点的概率值，无需在意其它的节点。
下图是一个分层Softmax示例：
树的结构是根据类标的频数构造的霍夫曼树。K个不同的类标组成所有的叶子节点，K-1个内部节点作为内部参数，从根节点到某个叶子节点经过的节点和边形成一条路径，路径长度被表示为
就可以被写成：
其中：
表示sigmoid函数；
表示n节点的左孩子；
是一个特殊的函数，被定义为：
的参数；X是Softmax层的输入。
上图中，高亮的节点和边是从根节点到
可以被表示为：
，实际上是在做了3次二分类的逻辑回归。
通过分层的Softmax，计算复杂度一下从|K|降低到log|K|。
1.4 CBOW
负采样：
- http://yanxiang.us/4905/
- https://zh.gluon.ai/chapter_natural-language-processing/word2vec.html#%E8%B4%9F%E9%87%87%E6%A0%B7
2. 优点
（1）适合大型数据+高效的训练速度：能够训练模型“在使用标准多核CPU的情况下10分钟内处理超过10亿个词汇”，特别是与深度模型对比，fastText能将训练时间由数天缩短到几秒钟。使用一个标准多核 CPU，得到了在10分钟内训练完超过10亿词汇量模型的结果。此外， fastText还能在五分钟内将50万个句子分成超过30万个类别。
（2）支持多语言表达：利用其语言形态结构，fastText能够被设计用来支持包括英语、德语、西班牙语、法语以及捷克语等多种语言。它还使用了一种简单高效的纳入子字信息的方式，在用于像捷克语这样词态丰富的语言时，这种方式表现得非常好，这也证明了精心设计的字符 n-gram 特征是丰富词汇表征的重要来源。FastText的性能要比时下流行的word2vec工具明显好上不少，也比其他目前最先进的词态词汇表征要好
（3）fastText专注于文本分类，在许多标准问题上实现当下最好的表现（例如文本倾向性分析或标签预测）。
（4）比word2vec更考虑了相似性，比如 fastText 的词嵌入学习能够考虑 english-born 和 british-born 之间有相同的后缀，但 word2vec 却不能（具体参考paper）。
3. 其他
3.1 FastText词向量与word2vec对比
本节来源于博客：fasttext
FastText= word2vec中 cbow + h-softmax的灵活使用
灵活体现在两个方面：
- 模型的输出层：word2vec的输出层，对应的是每一个term，计算某term的概率最大；而fasttext的输出层对应的是 分类的label。不过不管输出层对应的是什么内容，起对应的vector都不会被保留和使用；
- 模型的输入层：word2vec的输出层，是 context window 内的term；而fasttext 对应的整个sentence的内容，包括term，也包括 n-gram的内容；
两者本质的不同，体现在 h-softmax的使用。 Wordvec的目的是得到词向量，该词向量 最终是在输入层得到，输出层对应的 h-softmax 也会生成一系列的向量，但最终都被抛弃，不会使用。 fasttext则充分利用了h-softmax的分类功能，遍历分类树的所有叶节点，找到概率最大的label（一个或者N个）
- 代码分别实现了：cbow、skipgram
- sigmoid值、log的值存储下来，后续使用直接取
4 ......
- 99%来源： http://www.52nlp.cn/fasttext
- fasttext源码分析：https://heleifz.github.io/14732610572844.html
- fasttest源码：https://github.com/facebookresearch/fastText
- https://arxiv.org/pdf/1607.01759.pdf
- https://zh.gluon.ai/chapter_natural-language-processing/word2vec.html#word2vec
- word2vec：https://wenku.baidu.com/view/902aee77eff9aef8941e068b.html?from=search
