一文详尽系列之EM算法

EM 算法，全称 Expectation Maximization Algorithm。期望最大算法是一种迭代算法，用于含有隐变量（Hidden Variable）的概率参数模型的最大似然估计或极大后验概率估计。思想EM 算法的核心思想非常简单，分为两步：Expection-Step 和 Maximization-Step。E-Step 主要通过观察数据和现有模型来估计参数，然后用这个估计的参数值来计算上述对数似然函数的期望值；而 M-Step 是寻找似然函数最大化时对应的参数。由于算法会保证在每次迭代之后似然函数都会增加，所以函数最终会收敛。举例我们举两个例子来直观的感受下 EM 算法。2.1 例子 A第一个例子我们将引用 Nature Biotech 的 EM tutorial 文章中的例子。2.1.1 背景假设有两枚硬币 A 和 B，他们的随机抛掷的结果如下图所示：我们很容易估计出两 ………………………………