TIME : 2018-05-17
sklearn.naive_bayes.MultinomialNB
当特征是离散的时候，使用多项式模型。多项式模型在计算先验概率P(yk)P(yk)和条件概率P(xi|yk)P(xi|yk)时，会做一些平滑处理，具体公式为：
image
N是总的样本个数，k是总的类别个数，NykNyk是类别为ykyk的样本个数，αα是平滑值 
image
NykNyk是类别为ykyk的样本个数，n是特征的维数，Nyk,xiNyk,xi是类别为ykyk的样本中，第i维特征的值是xixi的样本个数，αα是平滑值
当α=1时，称作Laplace平滑，当0<α<1时，称作Lidstone平滑，α=0时不做平滑。
参数:
MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)
- alpha：拉普拉修/Lidstone平滑参数,浮点型,可选项,默认1.0
- fit_prior：是否学习先验概率,布尔型,可选项,默认True
- class_prior：类先验概率,数组大小为(n_classes,),默认None
属性:
- class_log_prior_ ：各类标记的 平滑 先验概率 对数值，其取值与fit_prior和class_prior参数相关
- intercept_ ：其值和class_log_propr相同
- feature_log_prob_ ：指定类的各特征概率(条件概率)对数值,返回形状为(n_classes, n_features)数组
- coef_ ：其值和feature_log_prob相同
- class_count_ ：各类别对应的样本数，按类的顺序排序输出
- feature_count_：各类别各个特征出现的次数，返回形状为(n_classes, n_features)数组
(n_classes, n_features):即"类别数"个行,"属性数"个列的矩阵
[含义解释见下]
方法:
- predict_proba(X)
- score(X, y, sample_weight=None)
- set_params(**params)
- get_params(deep=True)
- partial_fit(X, y, classes=None, sample_weight=None)
- predict(X)
- predict_log_proba(X)
参数含义解释:
各个参数(附带属性"class_log_prior_"解释)
(1)指定 class_prior=[0.3,0.1,0.3,0.2] , fit_prior=True/False
class_log_prior_取值是class_prior转换成log后的结果[log(0.3),log(0.1),log(0.3),log(0.2)]
import numpy as np
from sklearn.naive_bayes import MultinomialNB
X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
#exam1 #fit_prior为True
clf = MultinomialNB(alpha=2.0,fit_prior=True,class_prior=[0.3,0.1,0.3,0.2])
clf.fit(X,y)
print(clf.class_log_prior_)
print(np.log(0.3),np.log(0.1),np.log(0.3),np.log(0.2))
#exam2 #fit_prior为False
clf1 = MultinomialNB(alpha=2.0,fit_prior=False,class_prior=[0.3,0.1,0.3,0.2])
clf1.fit(X,y)
print(clf1.class_log_prior_)
>>output:
[-1.2039728 -2.30258509 -1.2039728 -1.60943791]
-1.20397280433 -2.30258509299 -1.20397280433 -1.60943791243
[-1.2039728 -2.30258509 -1.2039728 -1.60943791]
(2) class_prior=None , fit_prior=False
则各类标记的先验概率相同等于类标记总个数N分之一: P(c)=1/4
import numpy as np
from sklearn.naive_bayes import MultinomialNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],
[2,5,6,5],[3,4,5,6],[3,5,6,6]]) #样本属性数据
y = [1,1,4,2,3,3] #样本分类结果
clf = MultinomialNB(alpha=1.0,fit_prior=False,class_prior=None)
clf.fit(x,y)
print(clf.class_log_prior_)#总共4类,所以为log(1/4)
print(np.log(1/4))
>>output:
[-1.38629436 -1.38629436 -1.38629436 -1.38629436]
-1.38629436112
(3) class_prior=None , fit_prior=True
则各类标记的先验概率,等于各类标记个数除以各类标记个数之和
import numpy as np
from sklearn.naive_bayes import MultinomialNB
X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.fit(X,y)
print(clf.class_log_prior_)#按类标记1、2、3、4的顺序输出
print(np.log(2/6),np.log(1/6),np.log(2/6),np.log(1/6))
>>output:
[-1.09861229 -1.79175947 -1.09861229 -1.79175947]
-1.09861228867 -1.79175946923 -1.09861228867 -1.79175946923
属性含义解释:
属性 feature_log_prob_
条件概率 =(指定类下指定属性中值出现的次数+alpha)/(指定类下所有特征出现次数之和+类的可能取值个数*alpha)
#(clf见最上面的例子)
clf.feature_log_prob_
##>>output:
array([[-2.01490302, -1.45528723, -1.2039728 , -1.09861229],
[-1.87180218, -1.31218639, -1.178655 , -1.31218639],
[-1.74919985, -1.43074612, -1.26369204, -1.18958407],
[-1.79175947, -1.38629436, -1.23214368, -1.23214368]])
#分类1计算过程
print(
np.log((1+1+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((2+3+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((3+4+2)/(1+2+3+4+1+3+4+4+4*2)),
np.log((4+4+2)/(1+2+3+4+1+3+4+4+4*2)) )
##>>output:
-2.01490302054 -1.45528723261 -1.20397280433 -1.09861228867
#解释如下:
#alpha=2.0
#已知x为各个样本对应的向量,值的大小为出现次数
#因此对于分类1为第1,2两个样本,所以这两个向量相加
#得到 [指定类下指定属性中值出现的次数] :1+1,2+3,3+4,4+4
# [指定类下所有特征出现次数之和] 为1+1+2+3+3+4+4+4
# [类的可能取值个数] 4个属性,为4
x = np.array([[1,2,3,4],
[1,3,4,4],
[2,4,5,5],
[2,5,6,5],
[3,4,5,6],
[3,5,6,6]]) #样本属性数据
y = [1,1,4,2,3,3] #样本分类结果
属性 class_count_ / feature_count_
clf.class_count_
>>output:
array([ 2., 1., 2., 1.])
clf.feature_count_
>>output:
array([[ 2., 5., 7., 8.],
[ 2., 5., 6., 5.],
[ 6., 9., 11., 12.],
[ 2., 4., 5., 5.]])
方法含义解释:
方法 fit(x,y)
x: 样本对应的向量(向量中各个值的大小为单词出现次数)
y: 各样本类别标签
>>>>>>>>>例子如下<<<<<<<<<<<<
(1)样本
x_ini : 一共6个样本
['my','my','my','has', 'dog', 'has'],
['not','not', 'take', 'him', 'dog', 'stupid'],
['my', 'cute'],
['stupid', 'garbage'],
[ 'my', 'steak', 'to', 'him'],
['quit', 'dog', 'stupid']]
(2)属性
将单词作为属性,值为单词出现次数
一共有12种单词:从样本中提取,得到12种
['garbage', 'to', 'has', 'him', 'quit', 'my', 'not', 'steak', 'cute', 'take', 'stupid', 'dog']
注'my'为第6个属性
(3)x: 样本向量
每个样本有12个属性值,值为对应单词在该样本中出现的次数
例如:第一个样本中"my"出现3次,那么在下面第6个值为3
[0, 0, 2, 0, 0, 3, 0, 0, 0, 0, 0, 1]
[0, 0, 0, 1, 0, 0, 2, 0, 0, 1, 1, 1]
[0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0]
[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]
[0, 1, 0, 1, 0, 1, 0, 1, 0, 0, 0, 0]
[0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1]
(4)y: 类别标签
[0, 1, 0, 1, 0, 1]#第2,4,6个样本属于第1类
>>>>>>>>>例子结束<<<<<<<<<<<<
方法 get_params(deep=True)
获取分类器的参数，以各参数字典形式返回
clf.get_params(True)
>>output:
{'alpha': 2.0, 'class_prior': None, 'fit_prior': True}
方法 partial_fit(X, y, classes=None, sample_weight=None)
对于数据量大时,提供增量式训练,在线学习模型参数,参数X可以是类似数组或稀疏矩阵
在第一次调用函数,必须制定classes参数,随后调用时可以忽略
import numpy as np
from sklearn.naive_bayes import MultinomialNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.partial_fit(x,y,classes=[1,2])
clf.partial_fit(x,y)
MultinomialNB(alpha=2.0, class_prior=None, fit_prior=True)
方法 predict(X)
在测试集X上预测，输出X对应目标值
clf.predict([[1,3,5,6],[3,4,5,4]])
>>output:
array([1, 1])
方法 predict_log_proba(X)
测试样本划分到各个类的概率对数值
import numpy as np
from sklearn.naive_bayes import MultinomialNB
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5],[2,5,6,5],[3,4,5,6],[3,5,6,6]])
y = np.array([1,1,4,2,3,3])
clf = MultinomialNB(alpha=2.0,fit_prior=True)
clf.fit(x,y)
MultinomialNB(alpha=2.0, class_prior=None, fit_prior=True)
clf.predict_log_proba([[3,4,5,4],[1,3,5,6]])
>>output:
array([[-1.27396027, -1.69310891, -1.04116963, -1.69668527],
[-0.78041614, -2.05601551, -1.28551649, -1.98548389]])
方法 predict_proba(X)
输出测试样本划分到各个类别的概率值
clf.predict_proba([[3,4,5,4],[1,3,5,6]])
output:
array([[ 0.27972165, 0.18394676, 0.35304151, 0.18329008],
[ 0.45821529, 0.12796282, 0.27650773, 0.13731415]])
方法 score(X, y, sample_weight=None)
输出对测试样本的预测准确率的平均值
clf.score([[3,4,5,4],[1,3,5,6]],[1,1])
>>output:
0.5
方法 set_params(**params)
设置估计器的参数
clf.set_params(alpha=1.0)
<=>
MultinomialNB(alpha=1.0, class_prior=None, fit_prior=True)
