贝叶斯分类器在早期的自然语言处理任务中有着较多实际的应用,例如大部分的垃圾邮件处理都是用的贝叶斯分类器。贝叶斯分类器的理论对于理解后续的NLP模型有很大的进益,感兴趣的小伙伴一定要好好看看,本文会详细的讲述贝叶斯分类器的原理。
贝叶斯决策论
贝叶斯决策论是在统计概率框架下进行分类决策的基本方法。对于分类任务来说,在所有相关概率都已知的情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来预测分类。
假设在一个分类任务中,有N种可能的分类,y={c1,c2,c3,…,cN}。我们会这样定义将一个样本预测为ci的期望损失,又叫“条件风险”:
那么学习的任务是什么呢?
学习任务是寻找一个判定准则,利用该判定准则(分类器)进行分类预测,能够最小化条件风险: