EM-GMM

EM-GMM

  • 无监督学习
    • 前提 数据分布假设
    • 目标 数据分布拟合, 分布规律或分布模式的拟合
  • 引入隐变量GM的问题概括为

  • EM算法的通用性证明概要

  • 证明1, 直接将边际分布作为联合分布的积分, Jensen不等式优化, 计算L(theta) - L(theta_old) 得优化项形如

  • 证明2, 直接将似然函数乘上归一化概率分布q(z), 即p(z x, theta_old), 得到KL diverge和一项可优化的下界
  • 省略不可优化项, 二者可化简为期望式

EM overview

EM in GMM

  • 上述期望式将混合系数, 高斯均值, 高斯协方差矩阵完美分离
  • p(z x, theta_old)可以转化为贝叶斯公式计算, 混合系数是先验
  • E步骤, 算后验, 算响应因子而已; M部最大化期望, 最大化下界而已

我理解这个过程超过20小时, 谢谢