回归问题与分类问题的区别主要是y值不是离散的类别,而是连续的变量;从模型角度看,两者并无本质区别,分类问题无非是把回归的结果用激活函数离散化成了类别。
1. 分步搭建
-
数据载入
本例我们采用回归问题经典数据集-波士顿房价数据集;同样Scikit-Learn自带该数据集;需要注意的是,回归数据集是不存在类别名target_names的。
from sklearn.datasets import load_boston
data_set = load_boston()
x_names = data_set.feature_names
print(x_names)
x = data_set.data
y = data_set.target
-
定义模型
这里定义的模型具有一个输入层、一个隐藏层、一个输出层,神经元个数分别为13、26、1。输入层的神经元个数必须为输入特征维度,输出层的神经元个数在回归问题中固定为1,输出层不要定义激活函数。
from keras.models import Sequential
model = Sequential()
from keras.layers import Dense
model.add(Dense(units=26, input_dim=13, activation='relu'))
model.add(Dense(units=1))
-
编译模型
回归问题的损失函数有均方误差mse、平均绝对误差mae、均方对数误差msle等,注意Keras里没有直接提供均方根误差等带‘根’的误差,需要自己去开根号算。模型度量标准一般和损失函数设同样的值。
model.compile(loss='msle', optimizer='adam', metrics=['msle'])
-
训练模型
model.fit(x, y, epochs=100, batch_size=10)
-
评估模型
由于模型度量标准和损失函数设置了同样的值,所以这里result[1]和result[0]应该是同样的值,都是均方对数误差。
result = model.evaluate(x, y)
print(result[1])
-
模型预测
回归模型只有一个预测函数predict,打印前三行看一下格式。
result = model.predict(x)
print(result[0:3])
[[32.423107]
[27.864511]
[32.159573]]
2. 完整代码
# /usr/bin/env python
from sklearn.datasets import load_boston
from keras.models import Sequential
from keras.layers import Dense
def load_data():
data_set = load_boston()
x_names = data_set.feature_names
x = data_set.data
y = data_set.target
return x, y, x_names
def create_model(input_dim, units_list, activation='relu', optimizer='adam'):
model = Sequential()
model.add(Dense(units=units_list[0], input_dim=input_dim, activation=activation))
for units in units_list[1:]:
model.add(Dense(units=units, activation=activation))
model.add(Dense(units=1))
model.compile(loss='msle', optimizer=optimizer, metrics=['msle'])
model.summary()
return model
def main():
x, y, x_names = load_data()
print(x_names)
model = create_model(input_dim=13, units_list=[26, 13])
model.fit(x, y, epochs=100, batch_size=10)
result = model.evaluate(x, y)
print(result[1])
result = model.predict(x)
print(result[0:3])
if __name__ == '__main__':
main()
至此,三个基本模型讲解完毕,下一节将抛开模型本身,重点讲一下机器学习中常见的各种操作~