要分清依概率收敛&依分布收敛和大数定律&中心极限定理
大数定律 LLN
大数定律主要描绘的是样本算术平均值向期望的收敛情况。
- 伯努利大数定律：频率依概率收敛于概率；
- 切比雪夫大数定律：随机变量的均值依概率收敛到一个常数. 要求两两不相关，方差存在且有共同上界；
- 马尔科夫大数定律：随机变量的均值依概率收敛到一个常数，满足马尔科夫条件即可，除此之外没有任何关于同分布、独立性和相关性的假定。
- 辛钦大数定律：随机变量的均值依概率收敛到一个常数。要求 iid 且期望存在，对方差没有要求。
伯努利大数定律，既是切比雪夫大数定律的特殊情况，也是辛钦大数定律的特殊情况。
切比雪夫大数定律是马尔科夫大数定律的特殊情况。
但切比雪夫大数定律、辛钦大数定律针对的是两种不同的情况，谁也不是谁的特例。
小数定律：认为人类行为本身并不总是理性的，在不确定性情况下，人的思维过程会系统性地偏离理性法则而走捷径，人的思维定势、表象思维、外界环境等因素，会使人出现系统性偏见，采取并不理性的行为。把从大样本中得到的结论错误地移植到小样本中。（总结：可以看作人类的一种认知谬误）
中心极限定理 CLT
中心极限定理主要描绘的是：在许多情况下，对于 iid 的随机变量，即使原始变量本身不是正态分布，标准化样本均值的抽样分布也趋向于标准正态分布。
- 棣莫佛-拉普拉斯中心极限定理（De Moivre–Laplace theorem）是中央极限定理的最初版本，讨论的是服从二项分布的随机变量序列，样本均值的抽样分布收敛于均值为 np，方差为 np(1-p) 的正态分布。典型例子：高尔顿板（高尔顿板可以看作是伯努利试验的实验模型）。注意这里需要留意拉普拉斯修正（连续性修正）
- 林德伯格-莱维（Lindeberg-Levy）中心极限定理，是棣莫佛-拉普拉斯定理的扩展，讨论独立同分布随机变量序列的中央极限定理。
- 林德伯格-费勒（Lindeberg-Feller）中心极限定理定理，和李雅普诺夫中心极限定理，是中心极限定理的高级形式，是对林德伯格-莱维定理的扩展。它们表明，满足一定条件时，独立但不同分布的随机变量序列的标准化和依然以标准正态分布为极限。区别是：这两个定理对应的条件不一样：分别是林德伯格条件和李雅普诺夫条件。
LLN 与 CLT 的联系
...