模式识别与机器学习 马春鹏 October 26 2014
目录 1 绪论 9 1.1 例子：多项式曲线拟合 10 1.2 概率论 16 1.2.1 概率密度 20 1.2.2 期望和协方差 21 1.2.3 贝叶斯概率 22 1.2.4 高斯分布 24 1.2.5 重新考察曲线拟合问题 26 1.2.6 贝叶斯曲线拟合 28 1.3 模型选择 29 1.4 维度灾难 30 1.5 决策论 33 1.5.1 最小化错误分类率 34 1.5.2 最小化期望损失 35 1.5.3 拒绝选项 35 1.5.4 推断和决策 36 1.5.5 回归问题的损失函数 38 1.6 信息论 39 1.6.1 相对和互信息 44 1.7 练习 46 2概率分布 52 2.1 二元变量 52 2.1.1 Beta分布 54 2.2 多项式变量 56 2.2.1 狄利克雷分布 58 2.3 高斯分布 59 2.3.1 条件高斯分布 63 2.3.2 边缘高斯分布 65 2.3.3 高斯变量的贝叶斯定理 67 2.3.4 高斯分布的最大似然估计 69 2.3.5 顺序估计 69 2.3.6 高斯分布的贝叶斯推断 71 2.3.7 学生t分布 75 2.3.8 周期变量 77 2.3.9 混合高斯模型 81 2.4 指数族分布 83 2.4.1 最大似然与充分统计量 86 2.4.2 共轭先验 87 2.4.3 无信息先验 87 2.5 非参数化方法 89 2.5.1 核密度估计 90 2.5.2 近邻方法 92 2.6练习 94 3回归的线性模型 101 3.1 线性基函数模型 101 3.1.1 最大似然与最小平方 102 3.1.2 最小平方的几何描述 105 3.1.3 顺序学习 105 2
3.1.4 正则化最小平方 105 3.1.5 多个输出 106 3.2 偏置-方差分解 108 3.3 贝叶斯线性回归 111 3.3.1 参数分布 111 3.3.2 预测分布 113 3.3.3 等价核 116 3.4 贝叶斯模型比较 118 3.5 证据近似 121 3.5.1 计算证据函数 121 3.5.2 最大化证据函数 123 3.5.3 参数的有效数量 124 3.6 固定基函数的局限性 126 3.7 练习 126 4分类的线性模型 130 4.1 判别函数 131 4.1.1 二分类 131 4.1.2 多分类 132 4.1.3 用于分类的最小平方方法 133 4.1.4 Fisher线性判别函数 135 4.1.5 与最小平方的关系 137 4.1.6 多分类的Fisher判别函数 138 4.1.7 感知器算法 139 4.2 概率生成式模型 141 4.2.1 连续输入 143 4.2.2 最大似然解 144 4.2.3 离散特征 146 4.2.4 指数族分布 146 4.3 概率判别式模型 147 4.3.1 固定基函数 147 4.3.2 logistic回归 148 4.3.3 选代重加权最小平方 149 4.3.4 多类logistic回归 150 4.3.5 probit国归 151 4.3.6 标准链接函数 152 4.4 拉普拉斯近似 154 4.4.1 模型比较和BIC 155 4.5 贝叶斯logistic回归 156 4.5.1 拉普拉斯近似 156 4.5.2 预测分布 157 4.6练习 158 神经网络 161 5.1 前馈神经网络 161 5.1.1 权空间对称性 165 5.2 网络训练 165 5.2.1 参数最优化 168 5.2.2 局部二次近似 169 5.2.3 使用梯度信息 170 5.2.4 梯度下降最优化 170 5.3误差反向传播 171 3
5.3.1 误差函数导数的计算 172 5.3.2 一个简单的例子 174 5.3.3 反向传播的效率 175 5.3.4 Jacobian矩阵 175 5.4 Hessian矩阵. 177 5.4.1 对角近似 177 5.4.2 外积近似 178 5.4.3 Hessian矩阵的逆矩阵 178 5.4.4 有限差 179 5.4.5 Hessian矩阵的精确计算 179 5.4.6 Hessian矩阵的快速乘法 180 5.5 神经网络的正则化 182 5.5.1 相容的高斯先验 183 5.5.2 早停止. 185 5.5.3 不变性 186 5.5.4 切线传播 187 5.5.5 用变换后的数据训练 189 5.5.6 卷积神经网络 190 5.5.7 软权值共享， 191 5.6 混合密度网络 193 5.7 贝叶斯神经网络 197 5.7.1 后验参数分布 198 5.7.2 超参数最优化 199 5.7.3 用于分类的贝叶斯神经网络 200 5.8 练习 202 6核方法 206 6.1 对偶表示， 206 6.2 构造核 207 6.3 径向基函数网络 211 6.3.1 Nadaraya-Watson模型 212 6.4 高斯过程 214 6.4.1 重新考虑线性回归问题 214 6.4.2 用于回归的高斯过程 216 6.4.3 学习超参数 219 6.4.4 自动相关性确定 220 6.4.5 用于分类的高斯过程 221 6.4.6 拉普拉斯近似 222 6.4.7 与神经网络的联系 225 6.5练习 225 7稀疏核机 228 7.1 最大边缘分类器 228 7.1.1 重叠类分布 231 7.1.2 与logistic回归的关系 235 7.1.3 多类SVM 236 7.1.4 回归间题的SVM 237 7.1.5 计算学习理论 240 7.2 相关向量机 241 7.2.1 用于回归的RVM 241 7.2.2 稀疏性分析 244 7.2.3 RVM用于分类 247
7.3练习 249 8图模型 251 8.1 贝叶斯网络 251 8.1.1 例子：多项式回归， 253 8.1.2 生成式模型 255 8.1.3 离散变量 255 8.1.4 线性高斯模型 257 8.2 条件独立 259 8.2.1 图的三个例子 260 8.2.2 马尔科夫随机场 d-划分 264 8.3 266 8.3.1 条件独立性质 267 8.3.2 分解性质 268 8.3.3 例子：图像去噪 269 8.3.4 与有向图的关系 271 8.4 图模型中的推断 274 8.4.1 链推断. 274 8.4.2 树 277 8.4.3 因子图 277 8.4.4 加和-乘积算法 279 8.4.5 最大加和算法 285 8.4.6 般图的精确推断 289 8.4.7 循环置信传播 289 8.4.8 学习图结构、 290 8.5 练习 290 9混合模型和EM 293 9.1 K均值聚类 293 9.1.1 图像分割与压缩 296 9.2 混合高斯 297 9.2.1 最大似然 298 9.2.2 用于高斯混合模型的EM 300 9.3 EM的另 种观点 303 9.3.1 重新考察高斯混合模型 304 9.3.2 与K均值的关系 305 9.3.3 伯努利分布的混合 306 9.3.4 贝叶斯线性回归的EM算法 309 9.4 一般形式的EM算法 310 9.5 练习 313 10近似推断 316 10.1变分推断 316 10.1.1 分解概率分布 317 10.1.2 分解近似的性质 319 10.1.3 例子：一元高斯分布 321 10.1.4 模型比较 324 10.2例子： 高斯的变分混合 324 10.2.1 变分分布 325 10.2.2 变分下界 329 10.2.3 预测概率密度 330 10.2.4确定分量的数量 331 5
PRML 模式识别与机器学习 马春鹏.pdf
