影像去背

影像去背（英语：Image Matting），是指借由计算前景的颜色和透明度，将前景从影像中撷取出来的技术，可用于替换背景、影像合成、视觉特效，在电影工业中被广泛地使用。影像中的每个像素会有代表其前景透明度的值，称作阿法值（英语：Alpha），一张影像中所有阿法值的集合称作阿法遮罩（英语：Alpha Matte），将影像被遮罩所涵盖的部分取出即可完成前景的分离。

影像去背的主要工作就是求得精确的阿法遮罩，而影像常有无法人工标示的部分，例如：人的发丝或是动态模糊的部分，一种简单的解决方法是先人工标定出影像的“Trimap”，再由算法计算出阿法遮罩以完成影像去背。

名词定义

阿法遮罩（Alpha Matte）

阿法遮罩，是代表对于影像前景透明度的遮罩，大小和影像相同，遮罩中每个像素的值为相应的影像像素的阿法值（英语：Alpha）。阿法值为1代表该像素属于前景，0则代表该像素属于背景。阿法值也可能介于0,1之间，表示对应到的影像像素为半透明，例如烟雾、动态模糊。

Trimap

一张影像的“Trimap”，是指将影像中的每个像素划分为三种区域：前景（英语： Foreground）、背景（英语：Background）和待确认（英语：Unknown）。算法会将标定好的前景和背景当成已知，再借由颜色等资讯将待确认区域中的像素标为前景或背景。

去背问题

常见去背问题可分为单色去背（英语：Constant-color Matting）、差异去背（英语：Difference Matting）和自然影像去背（英语：Natural Image Matting）三种。

单色去背

影像的背景为已知且为单一颜色，通常为较容易处理的蓝色或绿色。一般在拍摄电影，需要替换背景时，会在蓝幕或绿幕前拍摄，就是为了要将去背简化为最容易的单色去背，让后制的工作更容易且有效率。

差异去背

影像的背景为已知但不是单色，可以先将相机固定，拍摄完已知的背景后，再拍摄加入人物的影像，把两影像相减后即可得到粗略的前景，故称之为差异去背。相减的方法虽然简单，但得出的前景再边界部分容易出错，可再借由算法进行优化。

自然影像去背

影像的前景背景没有限制，是最一般化也最困难的去背问题。通常会由人工将影像标定为前景、背景和待确认三种区域，算法再由已知的前景、背景颜色，去推算待确认区域中的每个像素属于前景或是背景。

算法

可大致分为两类：取样法（英语：Sampling-based）和传播法（英语：Propagation-based）。

取样法会对影像的局部区域取样，从已知资讯计算出该区域的阿法遮罩。常见的方法有贝式去背景法（英语：Bayesian Matting）。

传播法是指借由分析整张影像的特性，像是颜色、梯度等，来直接求得整张影像遮罩的方法。常见的方法有帕松去背景法（英语：Poisson Matting）、罗氏去背景法（英语：Robust Matting）等。

贝氏去背景法（英语：Bayesian Matting）

以贝氏几率模型计算最大后验概率，对前景、背景及阿法值同步进行优化，使用有向高斯共变异数（Oriented Gaussian Covariances）能有效的推估颜色的分布。贝氏去背的优点是几率模型简单又符合直觉，去背效果良好。其限制是需要良好的“Trimap”，当影像的前后景关系变得复杂时，贝氏去背的效果会显著下降。

帕松去背景法（英语：Poisson Matting）

帕松去背分为两步，一是从影像中算出遮罩近似的梯度场，二是借由解帕松等式（Poisson Equation），从遮罩的梯度场求得遮罩。当前景和背景颜色接近时，帕松去背容易出错，此时能够以更多的使用者输入，用区域的帕松去背来进行优化。

稳健性去背景法（英语：Robust Matting）

通常在有品质好的“Trimap”的情况下，取样法可以得到较好的遮罩；但在前后景关系复杂，“Trimap”品质不佳时，取样法的效果会迅速衰减。稳健性去背景法会先进行取样，得到遮罩后再进行优化，进而结合取样法和传播法的好处。

其他技术

在实作上，可以借由增加观测资讯，让去背景变得更加容易。

红外线的使用

在拍摄时，同时使用一般镜头和红外线镜头，借由红外线照片所得到的资讯，将同时拍摄的一般照片当中的人与背景分离。

闪光去背

在拍摄时，拍下使用闪光灯和没有使用闪光灯各一张，闪光灯会明显改变前景的亮度，但对背景的影响较小，借由分析有无闪光的两张照片，来完成影像去背。分析照片时能使用上述算法，如贝氏闪光去背（Joint Bayesian Flash Matting）。