Likelihood Principle

The likelihood principle: given a generative model for data $d$ given parameters $\theta$, $P(d|\theta)$, and having observed a particular outcome $d_1$, all inferences and predictions should depend only on the function $P(d_1 | \theta)$.

问题一

盒子A里有1个黑球和1个白球,盒子B里有1个黑球和2个白球,某人从其中一个盒子里取出了一个黑球,问:该黑球来自盒子A的概率是多少?

错误解答

解答: 既然已经知道取出的是黑球了,那它不是来自A盒就是来自B盒,而A盒跟B盒里的黑球数是一样多的(都各有1个),那么问题的答案也就是$\text{A盒中的黑球数} / (\text{A盒中的黑球数} + \text{B盒中的黑球数}) = \frac{1}{2}$了。

分析: 既然该解答认为结论与白球数无关,那么不妨将B盒中的白球数增加到十万个,这种情况下的结论还是“该黑球来自A盒的概率是$1/2$”,但是直觉上来看:“B盒那么多球里只有一个黑球,我就 不信 你取出的这个黑球 刚好 是来自B盒!”

正确解答

解答: 我们用$x \in {b, w}$表示取出的球是黑球或白球,用$\theta \in {A, B}$表示从A盒或B盒取球,那么在没有取球这个实验之前,可以假设从A盒或B盒取球是等可能的,也就是$P(\theta = A) = P(\theta = B) = \frac{1}{2}$。那么根据题意,在已经取出一个黑球的情况下,问题可以表达为“在取出黑球的前提下,这个球是从A盒取的概率”$P(\theta = A | x = b)$。根据贝叶斯公式:

问题二

盒子A里有1个黑球和1个白球,盒子B里有1个黑球和2个白球,问:从两个盒子里任取一球是黑球的概率是多少?

错误解答

解答: 既然问的是取黑球的概率,那么就跟从哪个盒子里取没有关系,只跟球的黑白有关,所以答案是:$\text{黑球总数} / (\text{黑球总数} + \text{白球总数} ) = \frac{1}{2}$.

分析: 我们不妨将B盒中的白球数加到十万个,那么按照此种解答,取到一个黑球的概率应该是极小的。但是要注意,球是分盒子装的:“只要我选对了盒子,取到黑球不见得就很难吧!”

正确解答

我们仍采用上题的符号定义,那么: