将词表征为实数值向量的高效工具，采用的模型有CBOW(Continues bag-of-words连续词袋模型)和Skip-Gram两种。
word2vec通过训练，可以把对文本内容的处理简化为K维向量空间中的向量运算
词向量：把一个词表示成一个向量
One-hot Representation
维度是词典的大小
Distributed Representation
维度以50，100比较常见
CBOW：用上下文预测目标值
skip-gram：用一个词来预测一段目标上下文
word2vec就是一个3层的神经网络，输入层，隐藏层，输出层
把训练数据拆成(A,B)这种元组，cbow和skipgram两种
用onehot方式分别代表A或B，A为x，B为y。
输入模型进行训练
https://towardsdatascience.com/learn-word2vec-by-implementing-it-in-tensorflow-45641adaf2ac
https://www.analyticsvidhya.com/blog/2017/06/word-embeddings-count-word2veec/
案例：
Hey, this is sample corpus using only one context word
一个词预测windows窗口的上下n个词
this这个词是 [1,v] 矩阵，两个W，input-Hidden矩阵[v,n], hidden-Output矩阵[n,v]，targe的矩阵是[1,v]
所以上面的图，this这一个[1,v]矩阵乘以[v,n]的矩阵，得到[1,n]的隐藏层
如上图，隐藏层乘以hidden-Output矩阵，[1,n]*[n,v] 得到target的[1,v]
这个target进行softmax，与真实的target计算loss
这是前向传播，通过loss，进行bp，更新两个w，最终用第一个w[v,n]，作为每个词的词向量
word2vec的缺点：
一个词只有一个向量，但苹果这个词，在我们语义中可以代表两个意思。
实用的是滑动的windows，受限于local语料，没有全局
