朴素贝叶斯知识点总结(朴素贝叶斯的应用)

1.朴素贝叶斯的应用

和决策树模型相比,朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论,有着坚实的数学基础,以及稳定的分类效率。同时,NBC模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单。理论上,NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为NBC模型假设属性之间相互独立,这个假设在实际应用中往往是不成立的,这给NBC模型的正确分类带来了一定影响。

解决这个问题的方法一般是建立一个属性模型,对于不相互独立的属性,把他们单独处理。例如中文文本分类识别的时候,我们可以建立一个字典来处理一些词组。如果发现特定的问题中存在特殊的模式属性,那么就单独处理。

这样做也符合贝叶斯概率原理,因为我们把一个词组看作一个单独的模式,例如英文文本处理一些长度不等的单词,也都作为单独独立的模式进行处理,这是自然语言与其他分类识别问题的不同点。

实际计算先验概率时候,因为这些模式都是作为概率被程序计算,而不是自然语言被人来理解,所以结果是一样的。

在属性个数比较多或者属性之间相关性较大时,NBC模型的分类效率比不上决策树模型。但这点有待验证,因为具体的问题不同,算法得出的结果不同,同一个算法对于同一个问题,只要模式发生变化,也存在不同的识别性能。这点在很多国外论文中已经得到公认,在机器学习一书中也提到过算法对于属性的识别情况决定于很多因素,例如训练样本和测试样本的比例影响算法的性能。

决策树对于文本分类识别,要看具体情况。在属性相关性较小时,NBC模型的性能稍微良好。属性相关性较小的时候,其他的算法性能也很好,这是由于信息熵理论决定的。

2.朴素贝叶斯的模型

朴素贝叶斯模型:

----

Vmap=arg max P( Vj | a1,a2。an)

Vj属于V集合

其中Vmap是给定一个example,得到的最可能的目标值.

其中a1。an是这个example里面的属性.

这里面,Vmap目标值,就是后面计算得出的概率最大的一个.所以用max 来表示

----

贝叶斯公式应用到 P( Vj | a1,a2。an)中.

可得到 Vmap= arg max P(a1,a2。an | Vj ) P( Vj ) / P (a1,a2。an)

又因为朴素贝叶斯分类器默认a1。an他们互相独立的.

所以P(a1,a2。an)对于结果没有用处. [因为所有的概率都要除同一个东西之后再比较大小,最后结果也似乎影响不大]

可得到Vmap= arg max P(a1,a2。an | Vj ) P( Vj )

然后

朴素贝叶斯分类器基于一个简单的假定:给定目标值时属性之间相互条件独立。换言之。该假定说明给定实例的目标值情况下。观察到联合的a1,a2。an的概率正好是对每个单独属性的概率乘积: P(a1,a2。an | Vj ) =Πi P( ai| Vj )

.

朴素贝叶斯分类器:Vnb =arg max P( Vj ) Π i P ( ai | Vj )

Vnb = arg max P ( Vj )

此处Vj ( yes | no ),对应天气的例子。

----

3.贝叶斯原理及应用

贝叶斯理论,是英国数学家贝叶斯(1701年—1761年) Thomas Bayes发明创造的一系列概率论理论,并广泛应用于数学、工程等领域。

在数学领域,贝叶斯分类算法应用于统计分析、测绘学,贝叶斯公式应用于概率空间,贝叶斯估计应用于参数估计,贝叶斯区间估计应用于数学中的区间估计,贝叶斯风险、贝叶斯统计、贝叶斯序贯决策函数、经验贝叶斯方法应用于统计决策论。在工程领域,贝叶斯定理应用于人工智能、心理学、遗传学,贝叶斯分类器应用于模式识别、人工智能,贝叶斯分析应用于计算机科学,贝叶斯决策、贝叶斯逻辑、人工智能应用于人工智能,贝叶斯推理应用于数量地理学、人工智能,贝叶斯学习应用于模式识别。

在其他领域,贝叶斯主义应用于自然辩证法,有信息的贝叶斯决策方法应用于生态系统生态学。

4.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布

对于完全不独立的情况,p(x|y=c)=p(pr1(x)=x1 | y=c)*p(pr2(x)=x2 | pr1(x)=x1,y=c)*.*p(prD(x)=xD | prj(x)=xj,j=0,1,。

,D-1,y=c),其中prj(x)表示向量x的第j个坐标(投影分量)——原理上就是选择一个分量为切入点,用递归的思想表示条件关系;至于对于不同数量样本的训练好坏,在不清楚样本具体大小和实际情况之前真不好说,不过就一般而言,如果样本很少,不难发现nauve Bayes的效果应该好些,因为它需要的参数(也就是它的条件概率参数)比较少往往可以用小样本训练出一个有一定效果的决策树,但样本数量大的话可以考虑更多因素(正如大部分情况下我们的属性之间很可能是fully dependent),这样大样本的full训练效果可能更精确,目前很少见到完全无关的变量;;;计算复杂度建议自己算,因为Bayes决策网络的复杂度不高。

朴素贝叶斯知识点总结

转载请注明出处百科知识网 » 朴素贝叶斯知识点总结(朴素贝叶斯的应用)

知识

苏教版版数学三年级上册知识点总结(小学三年级数学知识点总结)

阅读(5)

本文主要为您介绍苏教版版数学三年级上册知识点总结,内容包括小学三年级数学知识点总结,小学三年级数学知识点总结,小学数学知识点归纳苏教版的。第1单元测量在生活中,量比较短的物品,可以用(毫米、厘米、分米)做单位;量比较长的物体,常用(米)做单

知识

地理七年级下册知识点总结河北版(七年级下册地理人教版历史冀人版生物冀少版的复习)

阅读(8)

本文主要为您介绍地理七年级下册知识点总结河北版,内容包括七年级下册地理(人教版)、历史(冀人版)、生物(冀少版)的复习,初中地理七年级(下)知识点归纳,求七年级下学期地理知识归纳。七年级地理复习提纲 1. 在地球仪上找出北回归线,北极圈,南回归线,南

知识

计算机网络基础冷知识(计算机网络技术基础知识)

阅读(5)

本文主要为您介绍计算机网络基础冷知识,内容包括计算机网络技术基础知识,计算机基础知识,计算机网络知识。1.在以单计算机为中心的联机系统中,(通信子网)专门负责通信工作,从而实现数据处理与通信控制的分工。2. 60年代中期,英国国家物理实验

知识

百年风流人物康有为知识总结(尔雅百年风流人物康有为答案)

阅读(8)

本文主要为您介绍百年风流人物康有为知识总结,内容包括尔雅百年风流人物康有为答案,《百年家族:康有为》内容简介,历史上的风流人物介绍介绍讲他的事完了最后学习他什么精神100~2。经济思想康有为主张变法使中国走上资本主义的道路。他认为

知识

高一数学必修2每一课知识总结(高一数学必修二知识点总结)

阅读(7)

本文主要为您介绍高一数学必修2每一课知识总结,内容包括高一数学必修二知识点总结,高一数学必修2知识点总结,高一数学必修2知识点总结。高中数学必修2知识点直线与方程(1)直线的倾斜角定义:x轴正向与直线向上方向之间所成的角叫直线的倾斜角。

知识

中药士知识点总结(求一篇中药士工作总结)

阅读(5)

本文主要为您介绍中药士知识点总结,内容包括求一篇中药士工作总结,初级中药士与中药师复习资料一样初级中药士与中药师复习资料一样,2016年中药士年终总结。主要写一下工作内容,取得的成绩,以及不足,最后提出合理化的建议或者新的努力方向。。

知识

粮油保管员基础知识初级(做粮油保管员有哪些技能)

阅读(6)

本文主要为您介绍粮油保管员基础知识初级,内容包括怎么入门粮食保管,怎么入门粮食保管,做粮油保管员技能。您好!作为新时代的粮油保管员,需要掌握很多现代化科技的技能。感官判定粮食质量根据《粮油保管员国家职业标准》中感官判断主要粮食质

知识

就业的知识总结(就业心得体会)

阅读(8)

本文主要为您介绍就业的知识总结,内容包括就业心得体会,就业训练营知识总结,求一篇就业指导的心得500字以上。最低0.27元/天开通百度文库会员,可在文库查看完整内容>原发布者:宗磊的快乐生活就业心得体会 通过这一个月就业就业指导课的学习,在

知识

数学必修四知识点总结归纳(高一数学必修四重点知识总结)

阅读(6)

本文主要为您介绍数学必修四知识点总结归纳,内容包括高一数学必修四重点知识总结,高中数学人教版必修四的知识点归纳,高一必修四数学重要知识点。一 集合与简易逻辑集合具有四个性质 广泛性 集合的元素什么都可以确定性 集合中的元素必须是

知识

人教版九年级语文下册知识点总结(人教版九年级下语文复习提纲)

阅读(7)

本文主要为您介绍人教版九年级语文下册知识点总结,内容包括人教版九年级下语文复习提纲,人教版九年级下语文复习提纲,九年级语文下册中考知识点(人教版)。必须得把考试说明中划定范围的古诗词背会,会默写,理解句子的意思(以防考变相默写,如:岑参的

知识

苏教版版数学三年级上册知识点总结(小学三年级数学知识点总结)

阅读(5)

本文主要为您介绍苏教版版数学三年级上册知识点总结,内容包括小学三年级数学知识点总结,小学三年级数学知识点总结,小学数学知识点归纳苏教版的。第1单元测量在生活中,量比较短的物品,可以用(毫米、厘米、分米)做单位;量比较长的物体,常用(米)做单

知识

地理七年级下册知识点总结河北版(七年级下册地理人教版历史冀人版生物冀少版的复习)

阅读(8)

本文主要为您介绍地理七年级下册知识点总结河北版,内容包括七年级下册地理(人教版)、历史(冀人版)、生物(冀少版)的复习,初中地理七年级(下)知识点归纳,求七年级下学期地理知识归纳。七年级地理复习提纲 1. 在地球仪上找出北回归线,北极圈,南回归线,南

知识

高一数学必修2每一课知识总结(高一数学必修二知识点总结)

阅读(7)

本文主要为您介绍高一数学必修2每一课知识总结,内容包括高一数学必修二知识点总结,高一数学必修2知识点总结,高一数学必修2知识点总结。高中数学必修2知识点直线与方程(1)直线的倾斜角定义:x轴正向与直线向上方向之间所成的角叫直线的倾斜角。

知识

高1必修4数学知识点总结(高一数学必修1和必修4的知识点总结)

阅读(7)

本文主要为您介绍高1必修4数学知识点总结,内容包括高一数学必修1和必修4的知识点总结,高一数学必修四重点知识总结,高一数学必修4的知识点的总结。高中数学必修1知识点 第一章 集合与函数概念 集合有关概念 集合的含义:某些指定的对象集在一

知识

高一数学必修4第二章知识点总结(高中数学必修4第二章重点)

阅读(5)

本文主要为您介绍高一数学必修4第二章知识点总结,内容包括高中数学必修4第二章重点,高一数学必修四前两章公式总结,高一数学必修四第一第二章知识总结。1.了解向量的实际背景,理解平面向量和向量相等的含义及向量的几何表示。2.掌握向量加、

知识

高考历史知识点总结(高中历史全部知识点总结)

阅读(7)

本文主要为您介绍高考历史知识点总结,内容包括高中历史所有必修的必背知识点,高中历史全部知识点总结,高考历史知识点总结。下面是我发在文库的资料,希望对你有所帮助:高中政治知识点 http://wenku.baidu.com/view/1342be17866