Day1

一、上午

1. 传统程序：数据 + 程序 -> 电脑 -> 输出
   机器学习：数据 + 输出 -> 电脑 -> 程序
2. 条件概率、边缘概率、联合概率、参考；
   贝叶斯公式、贝叶斯网络、概率的链式法则（重点理解）、参考；
   概率图模型（自学，即贝叶斯网络和马尔柯夫网络）;
3. 概率密度函数、Transformed Densities（不理解）、参考；
   最大似然估计、最大后验估计、参考；
4. 自信息：不确定性的消除；
   概率：事件的不确定性程度；
   熵、联合熵、条件熵、相对熵、交叉熵、参考
5. 导数的链式求导法则

二、下午

1. 数据、代价函数、最小化代价函数、
2. 最小二乘法（推导）、正则化、梯度下降、线性回归（FIT，拟合）
3. 线性分类、支持向量机（软间隔、hinge loss）、各种损失函数
4. 随机梯度下降、批次随机梯度下降（节约内存）
5. Adma（AdaGrad + RMSProp）（重点理解！面试必考！）
   AdaGrad：适用于稀疏梯度；当梯度较小时，下一步跑得慢；梯度较大时，下一步跑得快。
   RMSProp：自适应学习率。
6. 牛顿法：每一步梯度都由一个 xxx 矩阵确定，但是复杂度高。（自学）

7. 优化算法：分布式（中心化（工业界常用）、去中心化）、量化

   
   
   梯度下降矩阵计算.png

三、晚上

1. Linux（环境变量、常用命令）

man： Linux 下的帮助指令。
which：用于查找并显示给定命令的绝对路径。
free：显示当前系统未使用和已使用的内在数目。-h：以可读的方式显示。
df：显示磁盘分区上的可用空间。挂载点
top：系统的运行情况。（load：1、5、15 分钟的负载情况）

2. GPU 的基础概念
3. Docker的基础概念
4. NVIDIA Docker 的基础概念 (deepo、docker hub)
5. 实验、及相关代码

Day2

一、上午

大纲

大纲.png

1. 线性模型：单层感知机（sign -> (-1, 1)）、逻辑回归（sigmoid -> (0,1)）。

2. 决策树（详见《机器学习》)：

决策树学习基本算法

2.1. 纯度：the degree that the samples in one leaf node belong to the same class
2.2. 信息熵：平均而言发生一个事件我们得到的信息量大小。
2.3. 信息增益：熵 - 条件熵，在一个条件下，信息不确定性减少的程度。（ID3）
2.4. 增益率：惩罚参数 * 信息增益。（C4.5)
2.5. 基尼系数：是一种与信息熵类似的做特征选择的方式，可以用来数据的不纯度。（CART）

3. 集成学习（详见《机器学习》)

集成学习.png

3.1. 基分类器
3.2. 加性模型

4. AdaBoost（如何训练、合并、更新数据分布）（一堆数学公式……）

4.1. 流程：

AdaBoost 算法流程.png

4.2. 伪代码：

AdaBoost 伪代码.png

4.5. 解决：代价敏感学习

AdaBoost 局限性解决 - 代价敏感学习.png

image.png

AdaCost.png

5. GBDT（基于回归树）

5.1.动机

image.png

image.png

5.2. 训练基分类器

1.png

3.png

image.png

5.4. 改变数据分布：残差。
5.5 伪代码

梯度提升算法 -伪代码.png

GBDT 伪代码（第 3 步）.png

6. XGBoost

6.1. 过拟合、欠投合、偏差、方差

新的目标函数.png

6.2. XGBoost 目标函数

XGBoost 目标函数.png

7. 剪枝、正则化

image.png

8.准确度

image.png

9.总结

image.png

10. 附件： XGBoost的实验手册、调参

二、下午

大纲

day02 下午大纲.png

照片的形成.png

像素值相关.png

图片存储.png

三、晚上

如何做实验及管理实验

1. Research Workflow

工作流程.png

2.模型设计

Model Design.png

3. 训练数据

Training Data.png

4. 目录结构

Directory Structure.png

checkpoints：用来保存中间结果。
opts（即 configure）：放所有超参数等各种设置。
main：训练和测试的代码。

5. 命名及注释

train and annotation.png

6. 管理结果

Result Management.png

Day6

一、上午 推荐系统

1. 流程

推荐系统工作流程.png

2. 协同过滤：过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。

协同过滤.png

2.1. 协同过滤分类

协同过滤分类.png

2.2. 协同过滤的基本方法

image.png

3. User-based 模型

User-based 模型.png

3.1. 基本问题

User-based 模型的三个基本问题.png

3.1.1 相似度（套一个PCC公式，皮尔森）

相似度计算.png

总分.png

近邻数.png

3.2. 模型的优化

User-based 模型优化，近邻算法.png

image.png

4. Item-based 模型

4.1 模型的直观理解：利用其他相似值相同的 item，来评估 target item。

image.png

4.2 相似度计算：PCC 或者 余弦相似度

image.png

4.4 优势：可以做离线预测。

5. 以上两个模型的基本问题：冷启动（content-based, 迁移学习）

image.png

6. Model-based 模型（难）

推荐的论文.png

使用 SVD 去 xxx.png

矩阵的评估.png

7. 聚类模型

image.png

8. 概率模型

[图片上传中...(image.png-952044-1532744092074-0)]

9. 分类模型

image.png

10. content-based 模型

image.png

11. learn to rank

image.png

二、Deep learning for RS

1.主流模型

image.png

image.png

image.png

image.png