文本分类问题：
低概率词汇的利用，学习并理解到医学词汇。。。。。。。。
模糊语义问题：
两类问题解决：Unsupervised learning
两类问题,核心都是deep learning 根据相近原理学到一个整个的词汇矩阵就可以解决了。
需要一个这样的模型来学习上下文语义。
Embedding：模型原理
Embedding 模型的形成过程
Word 2 Vec: 是一种 Embedding model
EMBEDDING Neighbor:
Reduce dimensionality
Need use t-SNE ,not PCA (需要保留neighbor relation)
More about Word 2 Vec :COSINE
WORD 2 VEC 的流程 ：
WORD ANALOGY(Vector 上有表现)
语义类比，句法类比
Vector computer:
前面都是单词的模型，后面是序列（不同长度的单词）
RNN
share weight across space and time
反向传播 :而且都是权重一样的，对SGD 优化不好
Correlated 导致的数学问题：exploding and vanishing
解决梯度问题，，两种方案，一种简单，一种优雅，
exploding 使用 gradient clipping 后期缩小学习步骤
VANISHING :使用LSTM 和 GRU解决
LSTM
注意相乘的函数是连续的，可以求导。
连续求导，，反馈
正则化： 可以使用L2 和dropout
留意 dropout 不能用在RNN的memory 接口上
RNN 应用
Beam Search: 预测下一步的序列
预测一步
预测两步
RNN 变异类型
多对一： 情感推理
Beam Search 以及 作曲（一对多）
多对多
应用：
