动手学深度学习 Release2.o.o-betao AstonZhang ZacharyC.Lipton MuLi andAlexanderJ.Smola Dec09 2021
目录 序言 1 安装 9 符号 13 1前言 17 2预备知识 39 2.1 数据操作 40 2.1.1 入门 40 2.1.2 运算符 42 2.1.3 广播机制 44 2.1.4 索引和切片 45 2.1.5 节省内存 45 2.1.6 转换为其他Python对象 46 2.1.7 小结 47 2.1.8 练习 47 2.2 数据预处理 47 2.2.1 读取数据集 47 2.2.2 处理缺失值 48 2.2.3 转换为张量格式 49 2.2.4 小结 49 2.2.5 练习 49 2.3 线性代数 50 2.3.1 标量 50 2.3.2 向量 50 2.3.3 矩阵 52
2.3.4 张量 53 2.3.5 张量算法的基本性质 5 2.3.6 降维 55 2.3.7 点积（Dot Product） 57 2.3.8 矩阵-向量积 58 2.3.9 矩阵-矩阵乘法 58 2.3.10 范数 65 2.3.11 关于线性代数的更多信息 61 2.3.12小结 61 2.3.13练习 61 2.4 微积分 62 2.4.1 导数和微分 63 2.4.2 偏导数 66 2.4.3 梯度 67 2.4.4 链式法则 67 2.4.5 小结 67 2.4.6 练习 68 2.5 自动微分 68 2.5.1 一个简单的例子 68 2.5.2 非标量变量的反向传播 70 2.5.3 分离计算 70 2.5.4 Python控制流的梯度计算 71 2.5.5 小结 71 2.5.6 练习 72 2.6 概率 72 2.6.1 基本概率论， 73 2.6.2 处理多个随机变量 76 2.6.3 期望和方差 79 2.6.4 小结 80 2.6.5 练习 80 2.7 查阅文档 80 2.7.1 查找模块中的函数和类 80 2.7.2 查找特定函数和类的用法 81 2.7.3 小结 82 2.7.4 练习 82 3线性神经网络 83 3.1 线性回归 83 3.1.1 线性回归的基本元素 84 3.1.2 矢量化加速... 87 3.1.3 正态分布与平方损失 89 3.1.4 从线性回归到深度网络 90 i
3.1.5 小结 92 3.1.6 练习 92 3.2 线性回归的从零开始实现， 92 3.2.1 生成数据集 6 3.2.2 读取数据集 6 3.2.3 初始化模型参数 S6 3.2.4 定义模型 96 3.2.5 定义损失函数 96 3.2.6 定义优化算法 96 3.2.7 训练 6 3.2.8 小结 86 3.2.9 练习 86 3.3 线性回归的简洁实现 86 3.3.1 生成数据集 66 3.3.2 读取数据集 99 定义模型 100 3.3.4 初始化模型参数 101 3.3.5 定义损失函数 101 3.3.6 定义优化算法 101 3.3.7 训练 102 3.3.8 小结 103 3.3.9 练习 103 3.4 softmax回归 103 3.4.1 分类问题 104 3.4.2 网络架构 104 3.4.3 全连接层的参数开销.
105 3.4.4 softmax运算 105 3.4.5 小批量样本的矢量化 106 3.4.6 损失函数 106 3.4.7 信息论基础 107 3.4.8 模型预测和评估 108 3.4.9 小结 108 3.4.10 练习 108 3.5 图像分类数据集 109 3.5.1 读取数据集 109 3.5.2 读取小批量 111 3.5.3 整合组件 112 3.5.4 小结 112 3.5.5 练习 113 3.6 softmax回归的从零开始实现， 113 3.6.1 初始化模型参数 113 3.6.2 定义softmax操作 114 !!
