第一课
supervised learning(有标准答案)
regression problem 回归问题
classification problem
learning theory
unsupervised learning(发现数据中的特殊结构)
reinforcement learning
第二课
linear regression
gradient descent
--batch gradient decent(训练数据很多时，参数更新太慢)
--stochastic gradient decent(or incremental gradient descent)但是并非全局最小值，与上述相比仅仅是近似。
(之间的区别，有待插入公式)
normal equations
--最小二乘法
第三课
linear regression
parametic learning algorithm
non-prarmetic learning algorithm
--locally weighted regression（loess）给出其中一种形式 w(i)=exp(-[x(i)-x]^2/（2*tow^2）)距离x越近权重越大，越远权重越小
--tow denotes bandwidth parameter控制权值随距离下降速率（虽然形式上很像高斯分布，但与高斯分布无关）
--局部权重回归 是一种非参数学习算法 如果有很大的训练集每次计算会有很大的代价，为提升效率可以参考KD-tree算法。
logistic regression （probabilistic interpretation）
--probabilistic interpretation 最大似然法 与 最小二乘法 等价
--分类问题学习算法 signoid/logistic function函数g(z)=1/[1+exp(-z)]
--学习算法中，z=transform(theta)*x
-digression: perception 感知器
-newton's method
第四课
logistic regression
--Newton's method
--迭代取极值，收敛速度快
exponential family
--伯努利分布、高斯分布、泊松分布（天生适合计数类的模型）
generalized linear models(GLMs)
--三个条件
--softmax回归 用于处理分多个类的问题
第五课
未完待续
