http://blog.csdn.net/hxxiaopei/article/details/8034184
举个例子,掷硬币,伯努利实验 中随机变量x={正面,背面},正面的概率μ为模型参数,假定做了N次试验,Data 中观察序列为X={正面,正面。。。。反面},正面的次数为k,服从二项分布:p(X|μ)∼pk∗(1−P)(N−k)
P(X|μ) 则成为似然函数。
针对观察到的随机变量(也就是Data)X,以及模型参数μ:
P(X|μ)为μ的似然函数,描述的是该观察集合以多大的概率由μ产生
P(μ)为μ的先验概率,这个概率是经验的总结,和实验无关
P(μ|α)为μ的先验概率,依赖于模型参数α,刻画了在α的情况下,参数(概率)μ出现的概率
P(μ|X)为μ的后验概率,描述给定数据X的情况下,模型参数=μ的概率,μ可以有很多取值。
我们现在的问题是,根据实验Data X,估计模型参数μ,很显然,我们想到极大似然估计:
P(X|μ),求解参数μ,使得观察data的概率最大,也就是说找到最有可能产生Data的模型参数。
p(X|μ)∼∏xip(xi|μ)=pk(1−p)N−k
求其一阶导数,采用梯度下降法,令其导数为0,可以求出p= k/n,符合我们的期望。这就是似然函数以及极大似然估计的概念。
'现在有一个问题: 如果N的次数不够大,比如我就做了1次试验,碰巧是正面,结果就是p=1,得出正面概率为1的谬论。很显然,对抛硬币,我们有一定的先验,比如抛10次,应该有5次,或者4-6次是正面,也就是有先验概率p=0.4~0.6.
所以我们在似然函数的基础上加上先验概率,估计的会更准确,P(μ|α)表示μ的先验概率,也可以理解为抛硬币时,正面概率为μ的概率是多少,具体概率大小依赖于参数。
在PRML中提到后验概率 ~ 似然函数*先验概率,也就是
p(μ|X)∼p(μ|α)∗p(X|μ)=∏xip(μ|α)∗μk(1−μ)N−k
参数估计变为MAP极大后验估计.对于二项分布,它的概率分布为 p(X|μ)∼pk(1−p)N−k
我们不禁想,如果先验概率p(μ|α)和似然函数的形式一样,也是 p(μ|α)=μa(1−μ)b,那么后验概率的形式也是是这个形式:p(μ|X)∼μa+k(1−μ)b+N−k,看起来非常简洁,简洁就是美:)。
这就是共轭先验,不对其概念做很准确的描述,直白一点,就是先验和似然有相同的分布,从而后验也有相同的分布。
补充一句,prml所言,共轭先验,是分布的分布,概率的概率,如下:
假设我们有一个骰子,其有六面,分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验,得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次,如果用每一面出现的次数与试验总数的比值估计这个面出现的概率,则我们得到六面出现的概率,分别为{0.2,0.2,0.2,0.2,0.1,0.1}。现在,我们还不满足,我们想要做10000次试验,每次试验中我们都投掷骰子10000次。我们想知道,出现这样的情况使得我们认为,骰子六面出现概率为{0.2,0.2,0.2,0.2,0.1,0.1}的概率是多少(说不定下次试验统计得到的概率为{0.1, 0.1, 0.2, 0.2, 0.2, 0.2}这样了)。这样我们就在思考骰子六面出现概率分布这样的分布之上的分布。而这样一个分布就是Dirichlet分布 From : http://www.xperseverance.net/blogs/2012/03/510/
二项分布的共轭先验就是beta 分布。形式是Beta(μ|a,b)=Γ(a+b)Γ(a)Γ(b)μa−1(1−μ)b−1
采用MAP极大后验计算后μ=(k+a )/(N + a + b),加上了平滑因子 a b,如果 a=5, b=5,k=1, N=1,对应的μ=0.45,更接近我们理解上的u=0.5
所以beta分布式二项分布的共轭先验分布
多项分布和二项分布类似,只是参数有多个,P(X|μ)=μn11μn22μn33....μnkk其共轭先验分布狄利克雷分布P(μ|α)∼μα1−11μα2−12μα3−11....μαk−1
相关推荐
最大似然估计与最大验后估计 最大似然估计与最大验后估计
最大后验概率估计可以看作是规则化(Regularization)的最大似然估计。
极大似然估计用蒙特卡洛仿真实现,蒙特卡洛仿真实现MATLAB例程
用极大似然估计方法估计掷硬币的概率,word版的估计过程,涉及公式,完整版的推导
极大似然估计程序代码
机器学习的核心思想是从过往的经验中学习出规则,从而对新的事物进行预测。对于监督学习来说,有用的样本数目越多,训练越准确。...最大似然,最大后验估计都是给定模型参数后,得到样本集的概率的方法。
极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计,是求估计的另一种方法,最大概似1821年首先由德国数学家C. F. Gauss提出,但是这个方法通常被归功于英国的统计学家R. A. ...
利用MATLAB仿真最大后验概率准则(MAP)和最大似然概率准则(ML)的判决过程,给出了不同信噪比下的误比特率曲线
包括matlab代码和地物信息xls文件,利用文件中提供的地物的五个波段信息以及预分类的信息,进行编程,实现分类并和文件中的真正分类比较,发现正确率可以达到97%
stata中极大似然估计方法,很不错的资源,可以下载下来学习下。
样本数据的类条件概率密度符合正态分布,对训练样本进行极大似然估计得到参数,再对测试样本进行分类。
极大似然估计方法估计方法,极大似然估计方法估计方法
系统辨识 极大似然估计法,利用测得的输入输出数据,运用极大似然估计法对系统参数进行辨识
计算极大似然值copula,matlab代码
RML_rml_极大似然法_极大似然估计_参数估计_源码.zip
哈工大研究生课程讲义高斯分布参数的极大似然估计,EM算法
极大似然估计的实现,极大似然估计的实仿真程序,锚的坐标计算。
RML_rml_极大似然法_极大似然估计_参数估计.zip
最大似然估计matlab代码
利用matlab计算copula极大似然估计,包括运行程序,适用于金融行业、经济领域等进行计算和使用。