MCMC Statistics Cover

欢迎来到 蒙特卡洛-马尔可夫链统计方法 系列，在这里你将学习从概率论基础到 MCMC 采样的原理与实践。本系列基于米兰理工大学的 PhD课程：MONTECARLO-MARKOV CHAINS STATISTICAL METHODS，借助 ChatGPT，结合 Python/Jupyter Notebook 代码与图示帮助理解。

系列文章

  1. 什么是概率？
  2. 随机变量与采样方法基础
    • 概率密度函数与期望
    • 简单分布的采样方法
    • 常用基础采样算法介绍
  3. 蒙特卡洛方法
    • 重要性采样（Importance Sampling）
    • 方差缩减技术
  4. 理解马尔可夫链
    • 什么是马尔可夫过程
    • 平稳分布与收敛性
    • 构建简单的状态转移过程
  5. MCMC 初识
    • 为什么我们需要 MCMC？
    • 从马尔可夫链到抽样
    • 理论与直觉
  6. Metropolis 算法详解：从原理到 Python 实现
    • 核心困境：无法计算的归一化常数
    • 随机游走 Metropolis 算法详解
    • 高维分布中的采样表现与调参
  7. Metropolis-Hastings 算法：打破对称性的束缚
    • 为什么我们需要“不对称”的提议？
    • 哈斯廷斯修正项 (Hastings Correction) 的推导与直觉
    • 实战案例：利用 Log-Normal 解决边界问题
  8. Gibbs 采样详解：分而治之的降维智慧
    • 高维困境与“曼哈顿漫步”直觉
    • 及其数学原理：布鲁克引理 (Brook’s Lemma)
    • 离散与连续分布的 Python 代码实现
  9. 确定性优化算法详解：梯度下降的数学本质与代码实战
    • 凸优化与非凸优化的几何直觉
    • 牛顿法 (Newton’s Method) 与二阶近似
    • 坐标下降 (Coordinate Descent) 与 Gibbs 采样的联系
    • 最速下降法 (Steepest Descent) 的优缺点
  10. 随机优化算法详解：模拟退火与 Pincus 定理
    • 从能量最小化到概率最大化：模拟退火的物理本质
    • 高温探索与低温锁定：Metropolis 采样的另一种视角
    • Pincus 定理：退火算法收敛到全局最优的数学证明
  11. 收敛性诊断
  12. Python 实战：MCMC 建模

快速访问

随机优化算法详解：模拟退火与 Pincus 定理

 发表于 February 2, 2026  |  1799 个字  • 其它语言: EN

当优化问题陷于局部最优的迷宫时，确定性算法往往束手无策。本文将带你进入随机优化的世界，探索如何将寻找最小能量的问题转化为寻找最大概率的问题。我们将深入剖析模拟退火算法（Simulated Annealing）的物理直觉与数学原理，通过动态可视化展示其“高温探索、低温锁定”的优雅机制，并详细推导 Pincus 定理，从数学上证明为何退火算法能找到全局最优解。 [阅读全文]
随机优化  模拟退火  优化算法  机器学习  Pincus定理  Python实现 

确定性优化算法详解：梯度下降的数学本质与代码实战

 发表于 February 1, 2026  |  3431 个字  • 其它语言: EN

确定性优化是理解现代 MCMC 算法（如 HMC, Langevin）的基石。本文深入解析了三种经典的确定性优化策略：牛顿法（利用曲率的二阶视角）、坐标下降法（分而治之的 Gibbs 前身）和最速下降法（贪婪的一阶探索）。通过数学推导与 Python 可视化，我们对比了它们在不同地形（凸面、狭长峡谷、强耦合）下的行为模式与收敛特性。 [阅读全文]
梯度下降  优化算法  机器学习  深度学习  凸优化  Python实现 

MCMC 初识

 发表于 August 22, 2025  |  677 个字  • 其它语言: EN

我们之所以需要MCMC，是因为很多分布只知道未归一化形式，所以无法使用传统抽样/积分方法。而我们通过构造“正确的马尔可夫链”，就可以从它的平稳分布获得目标分布，即轨迹的长期分布 ≈ 目标分布。 [阅读全文]
蒙特卡洛  马尔可夫链  采样  数学  python