机器学习
- 监督学习
- 回归分析
- 分类问题
- 非监督学习
- 分组问题
- 降低维度
一元线性回归
% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用数据
from matplotlib import pyplot as plt
X= df[['year']] # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散点图
plt.xlabel('year') # 横轴标签
plt.ylabel('salary') #纵轴标签
from sklearn.linear_model import LinearRegression #引入线性回归模型
regr = LinearRegression() # 回归模型实例
regr.fit(X,Y)
regr.coef_ # 回归线斜率
regr.intercept_ # 回归线截距
regr.predict() # 回归模型预测
plt.plot(X,regr.predict(X),linewidth=3,color='blue') # 图上添加回归线
一元线性回归
多项式回归
% pylab inline
import pandas
df = pandas.read_csv('Data/salary.csv',index_col=0) # 使用数据
from matplotlib import pyplot as plt
X= df[['year']] # type(X) DataFrame
Y = df['salary'].values # type(Y) numpy.ndarray
plt.scatter(X,Y,color='black') #X,Y 散点图
plt.xlabel('year') # 横轴标签
plt.ylabel('salary') #纵轴标签
from sklearn.preprocessing import PolynomialFeatures #引入多项式转换
from sklearn.linear_model import LinearRegression # 引入线性回归模型
poly_reg = PolynomialFeatures(degree = 2) #设置为二项式转换
X_ = poly_reg.fit_transform(X) # 转换X
regr=LinearRegression()
regr.fit(X_,Y)
plt.scatter(X,Y,color='black')
plt.plot(X,regr.predict(X_),linewidth=3,color='blue') # 画回归线
因为X没有排序，画出来的图是这样的。。。
错误示范
X2= X.sort_values(['year']) #对X按year排序
X2_ = poly_reg.fit_transform(X2) #排序后的X二项式转换
plt.scatter(X,Y,color='black')
plt.plot(X2,regr.predict(X2_),linewidth=3,color='blue')
plt.xlabel('year')
plt.ylabel('salary')
多项式回归
多元线性回归
import pandas
df= pandas.read_csv('../Data/house-prices.csv')
df = pandas.concat([df,pandas.get_dummies(df['Brick']),pandas.get_dummies(df['Neighborhood'])],axis=1)
# 数据整理，用pandas.get_dummies函数将非数值型变量变为数值型变量
del df['Home'],df['Brick'],df['Neighborhood'],df['No'],df['West']
# 删除无关数据，和get_dummies时生成的多余数据
from sklearn.linear_model import LinearRegression
regr = LinearRegression()
X = df[['SqFt','Bedrooms','Bathrooms','Offers','Yes','East','North']]
Y = df['Price'].values
regr.fit(X,Y)
regr.coef_ # 回归系数
regr.intercept_ # 回归截距
regr.predict(X) # 回归模型预测
回归模型评估
import statsmodels.api as sm
X2=sm.add_constant(X)
est = sm.OLS(Y,X2)
est2 = est.fit()
print(est2.summary())
得到以下结果
1、线性关系显著性检验
H0：β=0，H1：β≠0，检验方法：t检验，显著性水平假设为0.01
结果中变量的P>|t| 均小于0.01，原假设不成立，变量与应变量间关系显著
2、检验多元回归模型
H0:β1=β2=β3=β4=β5...=0,H1:at least one βk≠0，检验方法：F检验，显著性水平假设为0.01
结果中Prob (F-statistic): 8.25e-50 小于0.01，原假设不成立，多元回归模型成立
3、模型拟合度检验
R-squared: 0.869
Adj. R-squared: 0.861 根据自变量数量修正后的R方，自变量数量越多，修正后R方越小
R-squared越大，模型拟合越好。
4、过度拟合检验
AIC(赤池信息量)
选择由不同自变量组合对应的最小AIC对应自变量组合作为模型选取的自变量
predictorcol = list(X.columns) #自变量列表
import itertools
AICs = {}
for k in range(1,len(predictorcol)+1):
for variables in itertools.combinations(predictorcol,k): # 所有自变量组合
predictors = X[list(variables)]
predictors2 = sm.add_constant(predictors)
est = sm.OLS(Y,predictors2)
est2 = est.fit()
AICs[variables] = est2.aic # 计算自变量组合的AIC值，存入词典
# 显示AIC最小的10个组合
from collections import Counter
c = Counter(AICs)
c.most_common()[::-10]
