记录一下,慢慢更新...
一、数据方面
1. 一定要做标准化!!!不然NN根本不工作
2、高维离散特征embedding是有效的
二、模型方面
1、可以加入BN层,但感觉提升不明显
2、初始化方法
三、调参方面
主要是DNN,目前主要调整的超参数:
1. 学习率 learning rate:开始是0.001,增大到0.01,auc反而更高了
2. drop out:设置的0.9,比没用drop out 还是有提升的
3. batch size:
4. 优化算法:一开始用的Adam
5.
记录一下,慢慢更新...
一、数据方面
1. 一定要做标准化!!!不然NN根本不工作
2、高维离散特征embedding是有效的
二、模型方面
1、可以加入BN层,但感觉提升不明显
2、初始化方法
三、调参方面
主要是DNN,目前主要调整的超参数:
1. 学习率 learning rate:开始是0.001,增大到0.01,auc反而更高了
2. drop out:设置的0.9,比没用drop out 还是有提升的
3. batch size:
4. 优化算法:一开始用的Adam
5.