1.什么是朴素贝叶斯？
朴素贝叶斯，即先验概率（条件），判断事件A，在事件B已经发生的条件下，发生的概率！
条件概率举例.png
2.利用朴素贝叶斯进行分类的依据？
p(c1|x,y)>p(c2|x,y),那么类别就属于c1;
p(c2|x,y)>p(c1|x,y),那么类别就属于c2;
3.朴素贝叶斯算法的一般过程
- 收集数据：可以使用任何方法。本章使用RSS源。
- 准备数据：需要数值型或者布尔型数据
- 分析数据：有大量特征时，绘制特征作用不大，此时使用直方图效果更好。
- 训练算法：计算不同的独立特征的条件概率。
- 测试算法：计算错误率。
- 使用算法：一个常见的朴素贝叶斯应用是文档分类。可以在任意的分类场景中使用朴素贝叶斯分类器，不一定非要是文本。
4.算法实现的伪代码如下：
计算每个类别中的文档数目
对每篇训练文档：
对每个类别：
如果词条出现在文档中→ 增加该词条的计数值
增加所有词条的计数值
对每个类别：
对每个词条：
将该词条的数目除以总词条数目得到条件概率
返回每个类别的条件概率
代码示例
from numpy import zeros,ones,array
from math import log
#定义读取数据的函数
def loadDataSet():
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how','to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1代表侮辱性文字，0代表正常言论
return postingList,classVec
#返回所有不重复的单词组成的集合
def createVocabList(dataSet):
#创建一个空集
vocabSet = set([])
for document in dataSet:
#创建两个集合的并集
vocabSet = vocabSet | set(document)
return list(vocabSet)
x,y=loadDataSet() #读入训练集合和结果
wordlist=createVocabList(x)
print("单词集合如下：\n",createVocabList(x))
#将原始数据转换为向量数据，词集模型
def setOfWords2Vec(vocabList, inputSet):
#创建一个其中所含元素都为0的向量
returnVec = [0]*len(vocabList) #由文档中所有单词构建的list
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else: print ("the word: %s is not in my Vocabulary!" % word)
return returnVec
data_x=setOfWords2Vec(wordlist,x[0])
print(data_x)
#词袋模型
def bagOfWords2VecMN(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] += 1
return returnVec
#查看生成的向量
#定义概率函数
def trainNB0(trainMatrix,trainCategory):#输入x和y
numTrainDocs=len(trainMatrix) #返回记录的行数
numWords = len(trainMatrix[0])#返回矩阵的列数
pAbusive = sum(trainCategory)/float(numTrainDocs) #返回y=1发生的概率
#（以下两行）初始化概率为0
p0Num = ones(numWords); p1Num = ones(numWords)
p0Denom = 2.0; p1Denom = 2.0
for i in range(numTrainDocs): #对每一行记录进行处理
if trainCategory[i] == 1:#对于y=1的记录
#（以下两行）向量相加
p1Num += trainMatrix[i] #构建y=1的单词集合
p1Denom += sum(trainMatrix[i]) #统计y=1中单词的数目
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect =[log(x) for x in p1Num/p1Denom] #change to log()
#对每个元素做除法
p0Vect = [log(x) for x in p0Num/p0Denom] #change to log()
return p0Vect,p1Vect,pAbusive
#构建训练样本
data_x=[]
for postinDoc in x:
data_x.append(setOfWords2Vec(wordlist, postinDoc))
#训练样本概率
p0V,p1V,pAb=trainNB0(data_x,y)
#定义测试函数
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
#❶ 元素相乘
p1 = sum(vec2Classify * p1Vec) + log(pClass1)
p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
if p1 > p0:
return 1
else:
return 0
#定义主要函数
def testingNB():
#读入数据
listOPosts,listClasses = loadDataSet()
#生成wordlist
myVocabList = createVocabList(listOPosts)
#构建特征向量
trainMat=[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
#计算条件概率，单词a在正常邮件出现的概率，在垃圾邮件出现的概率，垃圾邮件出现的概率
p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
testEntry = ['love', 'my', 'dalmation']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
testEntry = ['stupid', 'garbage']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
``` 