混合模型

在统计学中，混合模型（Mixture model）是用于表示母体中子母体的存在的机率模型，换句话说，混合模型表示了测量结果在母体中的机率分布，它是一个由数个子母体之机率分布组成的混合分布。混合模型不要求测量结果供关于各个子母体之机率分布的资讯即可计算测量结果在母体分布中的机率。

高斯混合模型（Gaussian Mixture Model）

对一维的随机变数$X$的高斯分布存在以下机率密度函数：

$F_{X}(x)=P_{X}(X\leq x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp {(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}})}$

其中的$\sigma$为$X$的标准差，$\mu$为$X$的期望值。

而当将高斯分布推广到$k$维时，根据定义，若$k$维的随机向量$X=[X_{1},...X_{k}]^{T}$服从多变数的常态分布，则存在一个对称半正定的共变异数矩阵$\Sigma$以及期望值向量$\mu =[\mu _{1},...,\mu _{k}]^{T}$满足$X$的特征函数。若$\Sigma$为非奇异的，则此分布可以由以下的机率密度函数描述：

${\displaystyle f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\mathrm {e} ^{-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})},}$$|\Sigma |$为共变异数矩阵的行列式。

而高斯混合模型为单一高斯概率密度函数的延伸，用多个高斯概率密度函数（正态分布曲线）精确地量化变量分布，是将变量分布分解为若干基于高斯概率密度函数（正态分布曲线）分布的统计子模型，每个子模型可视为此混合模型的隐变量。

举一个不是那么严谨的例子，若是我们手上有一个班级中所有学生某一次考试的各项科目分数分布，并且每一科的分数都大致依照高斯分布。则当我们要描述每个学生的总分分布时，单高斯模型及多维的高斯模型不一定能很好的描述这个分布，因为每一科的分布的情形都不尽相同，此时我们可以用高斯混合分布更好的来描述这个问题。