溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
一、貝葉斯分類介紹
貝葉斯分類器是一個統計分類器。它們能夠預測類別所屬的概率，如：一個數據對象屬于某個類別的概率。貝葉斯分類器是基于貝葉斯定理而構造出來的。對分類方法進行比較的有關研究結果表明：簡單貝葉斯分類器（稱為基本貝葉斯分類器）在分類性能上與決策樹和神經網絡都是可比的。在處理大規模數據庫時，貝葉斯分類器已表現出較高的分類準確性和運算性能。基本貝葉斯分類器假設一個指定類別中各屬性的取值是相互獨立的。這一假設也被稱為：類別條件獨立，它可以幫助有效減少在構造貝葉斯分類器時所需要進行的計算。
二、貝葉斯定理
p(A|B) 條件概率 表示在B發生的前提下，A發生的概率；
基本貝葉斯分類器通常都假設各類別是相互獨立的，即各屬性的取值是相互獨立的。對于特定的類別且其各屬性相互獨立，就會有：
P(AB|C) = P(A|C)*P(B|C)
三、貝葉斯分類案例
1.分類屬性是離散
假設有樣本數為6個的訓練集數字如下：
現在假設來又來了一個人是癥狀為咳嗽的教師，那這位教師是患上感冒、發燒、鼻炎的概率分別是多少呢？這個問題可以用貝葉斯分類來解決，最后三個疾病哪個概率高，就把這個咳嗽的教師劃為哪個類,實質就是分別求p(感冒|咳嗽*教師)和P(發燒 | 咳嗽 * 教師)
P(鼻炎 | 咳嗽 * 教師) 的概率；
假設各個類別相互獨立：
P(感冒)=3/6 P(發燒)=1/6 P(鼻炎)=2/6
p(咳嗽) = 3/6 P(教師）= 2/6
p(咳嗽 | 感冒) = 2/3 P(教師 | 感冒) = 1/3
故
按以上方法可分別求 P(發燒 | 咳嗽 × 教師) 和P(鼻炎 |咳嗽 × 教師 )的概率；
2.分類屬性連續
如果按上面的樣本上加一個年齡的屬性；因為年齡是連續，不能采用離散變量的方法計算概率。而且由于樣本太少，所以也無法分成區間計算；這時，可以假設感冒、發燒、鼻炎分類的年齡都是正態分布，通過樣本計算出均值和方差，也就是得到正態分布的密度函數；
下面就以求P(年齡=15|感冒)下的概率為例說明：
第一：求在感冒類下的年齡平均值 u=(15+48+12)/3=25
第二：求在感冒類下年齡的方差 代入下面公司可求：方差=266
第三：把年齡=15 代入正太分布公式如下：參數代進去既可以求的P(age=15|感冒)的概率
其他屬性按離散方法可求；
四、概率值為0處理
假設有這種情況出現，在訓練集上感冒的元祖有10個，有0個是孩子，有6個是學生，有4個教師；當分別求
P(孩子|感冒) =0； P(學生|感冒)=6/10 ； P(教師|感冒)=4/10 ;出現了概率為0的現象，為了避免這個現象，在假設訓練元祖數量大量的前提下，可以使用拉普拉斯估計法，把每個類型加1這樣可求的分別概率是
P(孩子|感冒) = 1/13 ； P(學生|感冒) = 7/13 ; P(教師|感冒)=4/13
五、垃圾郵件貝葉斯分類案例
1.準備訓練集數據
假設postingList為一個六個郵件內容,classVec=[0,1,0,1,0,1]為郵件類型，設1位垃圾郵件
def loadDataSet():
postingList =[['my','dog','has',' flea','problems','help','please'],
['mybe','not','take','him','to','dog','park','stupid'],
['my','dalmation','is','so','cute','i','love','hime'],
['stop','posting','stupid','worthless','garbage'],
['mr','licks','ate','my','steak','how','to','stop','hime'],
['quit','buying','worthless','dog','food','stupid','quit']]
classVec =[0,1,0,1,0,1]
return postingList,classVec
2.根據所有的郵件內容創建一個所有單詞集合
def createVocabList(dataSet): vocabSet =set([]) for document in dataSet: vocabSet = vocabSet | set(document) return list(vocabSet)
測試后獲取所有不重復單詞的集合見下一共：
3.根據2部所有不重復的單詞集合對每個郵件內容向量化
def bagOfWords2VecMN(vocabList,inputSet): returnVec =[0]*len(vocabList) for word in inputSet: returnVec[vocabList.index(word)] +=1 return returnVec
測試后可得如下，打印內容為向量化的六個郵件內容
4.訓練模型，此時就是分別求p(垃圾|文檔) = p(垃圾)*p（文檔|垃圾）/p(文檔)
def trainNBO(trainMatrix,trainCategory):
numTrainDocs = len(trainMatrix)
numWords =len(trainMatrix[0])
#計算p(垃圾)的概率
pAbusive = sum(trainCategory)/float(numTrainDocs)
#為了防止一個概率為0，假設都有一個
p0Num =ones(numWords);
p1Num = ones(numWords)
p0Denom =2.0;p1Denom=2.0;
for i in range(numTrainDocs):
if trainCategory[i] ==1:
p1Num +=trainMatrix[i]
p1Denom +=sum(trainMatrix[i])
else:
p0Num +=trainMatrix[i]
p0Denom +=sum(trainMatrix[i])
p1Vect = np.log((p1Num/p1Denom))
p0Vect = np.log(p0Num/p0Denom)
return p0Vect,p1Vect,pAbusive
對訓練模型進行測試結果如下：
5.定義分類方法
def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
p1 =sum(vec2Classify * p1Vec) +math.log(pClass1)
p0 = sum(vec2Classify * p0Vec)+math.log(1.0-pClass1)
if p1>p0:
return 1
else:
return 0
6.以上分類完成，下面就對其進行測試，測試方法如下：
def testingNB():
listOPosts,ListClasses = loadDataSet();
myVocabList = createVocabList(listOPosts)
trainMat=[]
for postinDoc in listOPosts:
trainMat.append(bagOfWords2VecMN(myVocabList,postinDoc))
p0V,p1V,pAb =trainNBO(trainMat,ListClasses)
testEntry =['stupid','my','dalmation']
thisDoc = array(bagOfWords2VecMN(myVocabList,testEntry))
print testEntry,'classified as',classifyNB(thisDoc,p0V,p1V,pAb)
結果如下：
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
