概率与统计简介

概率论和统计学是研究随机现象的数学分支．在物理学中，它们是统计力学和量子力学的理论基础，并且在实验数据分析中不可或缺．

本章建议阅读顺序

1. 概率论的基本概念
2. 一维随机变量及其分布
3. 多维随机变量及其分布
4. 随机变量的数字特征
5. 大数定律及中心极限定理
6. 样本及抽样分布
7. 参数估计
8. 假设检验
9. 方差分析及回归分析
10. 附表

概率论基础

定义

• 样本空间 ($\mathrm{\Omega }$)：一个随机实验所有可能结果的集合．
• 事件 (A)：样本空间的一个子集．
• 概率 (P(A))：一个事件发生的可能性的度量，是一个介于 0 和 1 之间的数字．

概率公理（柯尔莫哥洛夫公理）：

1. 非负性：对于任何事件 $A$，$P(A)\ge 0$．
2. 归一化：整个样本空间的概率为 1，即 $P(\mathrm{\Omega })=1$．
3. 可加性：如果 $A_1,A_2,\dots$ 是一系列互不相交的事件，则 $P(A_1\cup A_2\cup \dots )=\sum _{i}P(A_i)$．

条件概率与贝叶斯定理

条件概率 $P(A|B)$ 是指在事件 $B$ 已经发生的条件下，事件 $A$ 发生的概率．

$$P(A|B)=\frac{P(A\cap B)}{P(B)}$$

其中 $P(A\cap B)$ 是 $A$ 和 $B$ 同时发生的概率．

如果 $P(A|B)=P(A)$，则称事件 $A$ 和 $B$ 是 独立的．

贝叶斯定理 (Bayes' Theorem) 描述了在获得新证据后，如何更新一个假设的概率．

$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

• $P(A)$ 是 先验概率(prior probability)．
• $P(A|B)$ 是 后验概率(posterior probability)．
• $P(B|A)$ 是 似然(likelihood)．
• $P(B)$ 是 证据(evidence)．

随机变量与概率分布

随机变量(Random Variable) 是一个函数，它将样本空间中的每个结果映射到一个实数．

• 离散随机变量：只能取有限个或可数个值．
• 连续随机变量：可以取一个区间内的任何值．

概率分布 描述了随机变量取各个值的概率．

• 对于离散随机变量，我们使用 概率质量函数 (PMF) $p(x)=P(X=x)$．
• 对于连续随机变量，我们使用 概率密度函数 (PDF) $f(x)$，其中事件 $a\le X\le b$ 的概率为 $P(a\le X\le b)={\int }_a^{b}f(x)dx$．PDF 本身不是概率，但它描述了概率在数轴上的分布密度．

期望与方差

• 期望 (Expectation) 或均值 ($\mu$) 是随机变量的平均值，是其概率分布的中心趋势的度量．

  • 离散：$E[X]=\mu =\sum _{x}xp(x)$
  • 连续：$E[X]=\mu ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)dx$

• 方差 (Variance)(${\sigma }^2$ 或 Var(X)) 是随机变量取值与其期望值偏离程度的度量．

  $$\text{Var}(X)={\sigma }^2=E[(X-\mu {)}^2]=E[X^2]-(E[X]{)}^2$$

• 标准差 (Standard Deviation)($\sigma$) 是方差的平方根，与随机变量本身具有相同的单位．

重要概率分布

离散分布

• 伯努利分布 (Bernoulli Distribution)：单次试验，结果只有两种（成功或失败）．

• 二项分布 (Binomial Distribution)：$n$ 次独立的伯努利试验中成功次数的分布．

  $$P(X=k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$$

  其中 $p$ 是单次试验的成功概率． - 泊松分布 (Poisson Distribution)：描述在固定时间或空间内，一个事件发生固定次数的概率，如果这些事件以已知的平均速率独立发生．

  $$P(X=k)=\frac{{\lambda }^k{e}^{-\lambda }}{k!}$$

  其中 $\lambda$ 是单位时间/空间内的平均事件数．在放射性衰变等物理现象中很常见．

连续分布

• 均匀分布 (Uniform Distribution)：在区间 $[a,b]$ 内，取任何值的概率密度都相等．

• 正态分布 (Normal Distribution) 或高斯分布 (Gaussian Distribution)：自然界和科学研究中最常见的分布．其概率密度函数为：

  $$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-{\displaystyle \frac{(x-\mu {)}^2}{2{\sigma }^2}}}$$

  由均值 $\mu$ 和标准差 $\sigma$ 完全确定．中心极限定理表明，大量独立随机变量之和（或均值）近似服从正态分布． - 指数分布 (Exponential Distribution)：描述独立随机事件发生的时间间隔的概率．

  $$f(t)=\lambda e^{-\lambda t}(t\ge 0)$$

  其中 $\lambda$ 是事件发生的速率．

例题： 放射性粒子计数器在 1 秒内平均记录到 4 次衰变．假设衰变事件服从泊松分布，求在下一秒内恰好记录到 3 次衰变的概率．解： 这里平均速率 $\lambda =4$．我们要求 $P(X=3)$． 根据泊松分布公式：

$$P(X=3)=\frac{4^3{e}^{-4}}{3!}=\frac{64\cdot e^{-4}}{6}\approx 10.67\cdot 0.0183\approx 0.1954$$

所以，下一秒恰好记录到 3 次衰变的概率约为 19.5%．

统计力学中的应用

在统计力学中，我们处理由巨大数量的粒子（如原子或分子）组成的系统．我们无法追踪每个粒子的状态，而是使用概率分布来描述系统的宏观性质．

• 微正则系综：孤立系统，能量、体积、粒子数固定．系统在每个可及的微观状态上等概率分布．

• 正则系综：与恒温热库接触的系统，体积、粒子数固定，能量可以交换．粒子处于能量为 $E$ 的状态的概率与 玻尔兹曼因子 (Boltzmann factor) $e^{-E/k_{B}T}$ 成正比．

  $$P(E)\propto e^{-E/k_{B}T}$$

  其中 $k_B$ 是玻尔兹曼常数，$T$ 是温度． - 巨正则系综：与热库和粒子库接触的系统，能量和粒子数都可以交换．

麦克斯韦 - 玻尔兹曼分布 (Maxwell-Boltzmann distribution) 是一个描述理想气体在热平衡状态下，分子速率分布的概率密度函数．

$$f(v)=4\pi {\left(\frac{m}{2\pi k_{B}T}\right)}^{3/2}{v}^2{e}^{-{\displaystyle \frac{m{v}^2}{2k_{B}T}}}$$

这个分布可以从玻尔兹曼因子推导出来，是统计力学的一个经典结果．

本页面最近更新：2026/7/3 22:14:58，更新历史
发现错误？想一起完善？ 在 GitHub 上编辑此页！
本页面贡献者：Leafuke
本页面的全部内容在 CC BY-SA 4.0 和 SATA 协议之条款下提供，附加条款亦可能应用

评论