1、假设函数(hypothesis function)
设自变量x=(1,x1,x2...xn)T∈Rn+1（x属于n+1维列向量），参数θ=(θ0,θ1,θ2...θn)T∈Rn+1（θ属于n+1维列向量），则假设函数为一个sigmoid函数：
2、代价函数(cost function)
设有(x(1),y(1)),(x(2),y(2))...(x(m),y(m))共m个样本，对于每一个样本，可以定义假设函数与实际值的损失为：
等价于：
因此，代价函数J(θ)定义为：
3、梯度下降法求解MinJ(θ)的参数θ
对于第j个θ，(j=0,1,2...n):
repeat:{
}
其中，偏导数项
可以看到，与求解线性回归的梯度下降法形式上是一样的，只不过这里的假设函数hθ(x)为sigmoid函数。
4、多分类问题（one-vs-all）
对于多个分类，假设样本中有i=1,2,3...k个分类，对每一个分类，分别训练一个二值分类器hθ(x)，共计训练K个分类器。最后样本的预测值为最大hθ(x)所对应的分类i，即:
