独立 (概率论)

在概率论里，说两个事件是独立的，直觉上是指一次实验中一事件的发生不会影响到另一事件发生的概率。例如，在一般情况下可以认为连续两次掷骰子得到的点数结果是相互独立的。类似地，两个随机变量是独立的，若其在一事件给定观测量的条件概率分布和另一事件没有被观测的概率分布是一样的。

对于两个以上的事件，需要区分两种独立的概念。如果集合中的任意两个事件相互独立，则这些事件称为两两独立（Pairwise independent），而事件相互独立（Mutually independent）指每个事件独立于集合中其他事件的任何交集。在概率论、统计学和随机过程的标准文献中，没有限定词的独立通常指相互独立。

独立事件

对于两个事件

两个事件A和B是独立的 当且仅当 $\mathrm {Pr} (A\cap B)=\mathrm {Pr} (A)\mathrm {Pr} (B)$ 。

这里，A ∩ B是A和B的交集，即为A和B两个事件都会发生的事件。

对于任意个事件

若有限个事件构成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每对事件都是独立的，则这些事件是两两独立(pairwise independent)的。^[1]

即当且仅当对任意的 $i,j\in \{1,...,n\},i\neq j$ ，有

\mathrm {Pr} (A_{i}\cap A_{j})=\mathrm {Pr} (A_{i})\mathrm {Pr} (A_{j})

若有限个事件构成的集合 $\{A_{i}\}_{i=1}^{n}$ 中每个事件都与任何其他事件构成的交集独立，则这些事件是相互独立(mutually independent) 的。

即当且仅当对其任一有限子集A₁, ..., A_n，会有

\Pr(A_{1}\cap \cdots \cap A_{n})=\Pr(A_{1})\,\cdots \,\Pr(A_{n})

。

或写作： $\Pr \left(\bigcap _{i=1}^{n}A_{i}\right)=\prod _{i=1}^{n}\Pr(A_{i}).\!\,$

这被称为独立事件的乘法规则。

独立事件的性质

若两个事件A和B是独立的，则其B给之A的条件概率和A的“无条件概率”一样，即

\Pr(A\mid B)=\Pr(A)\,

。

至少有两个理由可以解释为何此一叙述不可以当做独立性的定义：(1)A和B两个事件在此叙述中并不对称，及(2)当概率为0亦可包含于此叙述时，会有问题产生。

若回想条件概率Pr(A | B)的定义为

\Pr(A\mid B)={\Pr(A\cap B) \over \Pr(B)},

(只要Pr(B) ≠ 0 )

则上面的叙述则会等价于

\Pr(A\cap B)=\Pr(A)\Pr(B)

即为上面所给定的标准定义。

注意独立性并不和它在地方话里的有相同的意思。例如，一事件独立于其自身当且仅当：

\Pr(A)=\Pr(A\cap A)=\Pr(A)\Pr(A)\,

亦即，其概率不是零就是一。因此，当一事件或其补集几乎确定会发生，它即是独立于其本身。例如，若事件A从单位区间的连续型均匀分布上选了0.5，则A是独立于其自身的，尽管重言式地，A完全决定了A。

独立随机变量

上面所定义的是事件的独立性。在这一节中，我们将处理随机变量的独立性。若X是一实数值随机变量且a是一数字的话，则X ≤ a的事件是一个事件，所以可以有意义地说它是否会独立于其他的事件。

两个随机变量X和Y是独立的当且仅当对任何数字a和b，事件[X ≤ a](X小于或等于a的事件)和[Y ≤ b]为如上面所定义的独立事件。类似地，随意数量的随机变量是明确地独立的，若对任一有限子集X₁, ..., X_n和任一数字的有限子集a₁, ..., a_n，其事件[X₁ ≤ a₁], ..., [X_n ≤ a_n]会是如上面所定义的独立事件。