《MATLAB机器学习》以实际应用为背景，采用理论 公式 经典应用相结合的形式，深入浅出地介绍 MATLAB 机器学习，重点介绍各种机器学习的经典应用。全书共12章，主要介绍了机器学习、MATLAB 软件、数学基础知识、线性回归分析、逻辑回归分析、K-均值聚类算法分析、决策树分析、主成分分析、支持向量机分析、朴素贝叶斯算法分析、随机森林算法分析、神经网络分析等内容。通过学习本书，读者能够了解机器学习在各领域中的应用，以及利用MATLAB实现机器学习的方便、快捷、专业性强等特点。
《MATLAB机器学习》可以作为高等院校人工智能相关专业的教材，也可以作为广大科研人员、学者、工程技术人员的参考用书。

《MATLAB机器学习》以实际应用为背景，采用理论 公式 经典应用相结合的形式，深入浅出地介绍MATLAB机器学习，重点介绍各种机器学习的经典应用。
?由浅入深，循序渐进 基于MATLAB平台，介绍相关编程知识，并在MATLAB上利用各种机器算法解决实际问题，大大简化了问题并提高了解决问题的效率。
?内容新颖，应用全面 理论与实践相结合，结合机器算法的使用经验和实际领域应用问题，详细地介绍机器算法的原理及其MATLAB实现方法与技术。
?轻松易学，方便快捷 给出大量典型的应用实例，在讲解过程中辅以相应的图片，使读者在阅读时一目了然，从而轻松快速掌握书中的内容。

近年来，随着计算机技术及互联网技术的发展，机器学习已经广泛应用于多个领域。未来，
随着信息技术的进一步发展，机器学习技术将会更加深入地应用到生产、生活的方方面面。
机器学习技术正处于朝阳时期，现阶段对这方面人才的需求远远大于供给。机器学习发
展迅猛，应用于多个领域。在自动驾驶领域，机器学习用于汽车控制系统的多方面；在金融
领域，机器学习用于预测股票市场；在医疗领域，机器学习用于医疗诊断；在执法领域，机
器学习用于面部识别，在面部识别的辅助下可以解决若干犯罪行为的定罪问题；在自适应控
制领域，机器学习用于自适应控制系统操纵油轮。
将来，随着信息技术的发展，机器学习将会在更多的领域得到应用。
MATLAB 的主要功能主要包括：一般数值分析、矩阵运算、数字信号处理、建模和
系统控制与优化等，以及集应用程序和图形于一体的集成环境，在此环境下所处理问题的
MATLAB 语言表述形式和其数学表达形式相同，无须按传统的方法编程。MATLAB 语言降
低了对使用者的数学基础和计算机语言知识的要求，提高了编程效率和计算效率，还可在计
算机上直接输出结果和精美的图形。
本书的目的是帮助读者利用 MATLAB 的功能来解决各种机器学习的问题，适用于每个对
机器学习感兴趣的人。
编写本书具有如下特点。
1．由浅入深，循序渐进
本书基于 MATLAB 平台介绍相关编程知识，并在 MATLAB 上利用各种机器学习算法解
决实际问题，大大简化了问题并提高了解决问题的效率。
2．内容新颖，应用全面
本书将理论与实践相结合，结合机器学习算法的使用经验和实际领域应用问题，介绍机
器学习算法的原理及其 MATLAB 实现方法。
3．轻松易学，方便快捷
本书给出了大量典型的应用实例，在讲解过程中辅以相应的图片，使读者在阅读时一目
了然，从而轻松、快速掌握书中的内容，提高学习效率。
全书共 12 章，主要包括如下内容。
第 1 章介绍机器学习，主要包括机器学习的分类、选择正确的算法、常用的机器学习算法、
机器学习的应用领域等内容。
第 2 章介绍 MATLAB 软件，主要包括 MATLAB 数据类型、MATLAB 作图等内容。
第 3 章介绍数学基础知识，主要包括矩阵的微分、向量和矩阵积分、特征值分解和奇异
值分解、最优化方法等内容。

文前.indd 1 2025/4/23 15:19:25 II MATLAB 机器学习

第 4 章介绍线性回归分析，主要包括线性回归模型、多元线性回归、广义线性模型、多
重共线性、其他线性回归等内容。
第 5 章介绍逻辑回归分析，主要包括逻辑回归概述、模型表达式、损失函数、模型求解、
逻辑回归的应用等内容。
第 6 章介绍 K- 均值聚类算法分析，主要包括 K- 均值聚类算法概述、K- 均值聚类算法
实现、K- 均值聚类改进算法等内容。
第 7 章介绍决策树分析，主要包括决策树的简介、决策树的原理、3 种算法的对比、剪树
处理、决策树的特点、决策树的函数、决策树的应用等内容。
第 8 章介绍主成分分析，主要包括降维方法、进行 PCA 的原因、PCA 数学原理、PCA
涉及的主要问题、PCA 的优化目标、PCA 的求解步骤、PCA 的优缺点与应用场景，PCA 相
关函数、偏最小二乘回归和主成分回归等内容。
第 9 章介绍支持向量机分析，主要包括线性分类、硬间隔、支持向量机的相关函数、用
于二类分类的支持向量机等内容。
第 10 章介绍朴素贝叶斯算法分析，主要包括贝叶斯公式、朴素贝叶斯算法的原理、朴素
贝叶斯常用模型、拉普拉斯平滑、朴素贝叶斯算法的优缺点、朴素贝叶斯算法的创建函数、
朴素贝叶斯算法的实现等内容。
第 11 章介绍随机森林算法分析，主要包括集成学习、集成学习的常见算法、随机森林算
法等内容。
第 12 章介绍神经网络分析，主要包括神经网络的概述、卷积神经网络、循环神经网络等
内容。
全书实用性强，应用范围广，可作为广大在校本科生和研究生的学习用书，也可以作为
广大科研人员、学者、工程技术人员的参考用书。
本书主要由佛山大学邓奋发编写。
【配套资源】
本书提供教学课件、程序代码等配套资源，可以在清华大学出版社官方网站本书页面下载，
或者扫描封底的书圈二维码在公众号下载。
由于时间仓促，加之编者水平有限，书中疏漏之处在所难免。在此，诚恳地期望得到各
领域的专家和广大读者的批评指正。

编者
2025 年 1 月

文前.indd 2 2025/4/23 15:19:26

第 1 章 机器学习 1
1.1 机器学习的分类 . 1
1.1.1 用监督学习预测未来 2
1.1.2 用无监督学习发现隐藏结构 . 3
1.1.3 用强化学习解决交互问题 . 4
1.1.4 分类和回归术语 4
1.2 选择正确的算法 . 5
1.3 常用的机器学习算法 7
1.4 机器学习的应用领域 8

第 2 章 MATLAB 软件 .10
2.1 MATLAB 数据类型 10
2.1.1 矩阵 10
2.1.2 元胞数组 . 11
2.1.3 结构体 12
2.1.4 数据存储 . 14
2.1.5 tall 数组 17
2.1.6 稀疏矩阵 . 19
2.1.7 表与分类数组 . 22
2.1.8 大型 MAT 文件 . 25
2.2 MATLAB 作图 . 27
2.2.1 二维线图 . 27
2.2.2 通用二维图形 . 31
2.2.3 三维点或线图 . 32
2.2.4 通用三维图形 . 34

第 3 章 数学基础知识 36
3.1 矩阵的微分 36
3.1.1 标量与矩阵求导通用的法则 . 36
3.1.2 矩阵和向量求导的通用法则 . 38
3.1.3 MATLAB 的实现 39
3.2 向量和矩阵积分 . 41
3.2.1 向量梯度 . 41
3.2.2 微分公式 . 41

文前.indd 3 2025/4/23 15:19:26 IV MATLAB 机器学习

3.2.3 优化方法 . 42
3.2.4 拉格朗日乘子法 42
3.2.5 向量矩阵积分实现 42
3.3 特征值分解和奇异值分解 43
3.3.1 特征值分解 . 43
3.3.2 奇异值分解 45
3.4 最优化方法 47
3.4.1 无约束优化方法 47
3.4.2 约束优化与 KKT 条件 53
3.4.3 二次规划 . 57

第 4 章 线性回归分析 60
4.1 线性回归模型 . 60
4.1.1 线性模型 . 60
4.1.2 损失函数 . 60
4.1.3 随机梯度下降法 61
4.1.4 线性回归简单实现 61
4.2 多元线性回归 . 63
4.3 广义线性模型 . 68
4.3.1 广义线性模型介绍 69
4.3.2 广义线性模型实现 69
4.4 多重共线性 75
4.4.1 什么是多重共线性 75
4.4.2 多重共性后果 . 76
4.4.3 多重共线性检验 79
4.4.4 多重共线性回归实现 79
4.5 其他线性回归 . 80
4.5.1 岭回归 81
4.5.2 Lasso 回归 82
4.5.3 弹性网络 . 83
4.5.4 逐步回归 . 85

第 5 章 逻辑回归分析 91
5.1 逻辑回归概述 . 91
5.2 模型表达式 92
5.3 损失函数 93
5.3.1 单个样本评估正确的概率 . 93
5.3.2 所有样本评估正确的概率 . 93
5.3.3 损失函数 . 93
5.4 模型求解 94
5.5 逻辑回归的应用 . 95

文前.indd 4 2025/4/23 15:19:27 目录 V

第 6 章 K- 均值聚类算法分析 .102
6.1 K- 均值聚类算法概述 . 102
6.1.1 K- 均值聚类算法的思想 102
6.1.2 K- 均值聚类算法的三要素 103
6.1.3 K- 均值聚类算法的步骤 103
6.1.4 K- 均值聚类算法的优缺点 104
6.1.5 K- 均值聚类算法调优 . 105
6.2 K- 均值聚类算法实现 . 107
6.2.1 K- 均值聚类算法函数 . 107
6.2.2 K- 均值聚类基于颜色的分割 .111
6.3 K- 均值聚类改进算法 . 114
6.3.1 K-means 算法 . 114
6.3.2 ISODATA 算法 . 117

第 7 章 决策树分析 .125
7.1 决策树的简介 . 125
7.2 决策树的原理 . 125
7.2.1 信息熵 127
7.2.2 信息增益 . 127
7.2.3 信息增益率 . 127
7.2.4 基尼系数 . 128
7.3 3 种算法的对比 129
7.4 剪树处理 129
7.4.1 预剪枝 129
7.4.2 后剪枝 129
7.5 决策树的特点 . 130
7.6 分类树的函数 . 130
7.6.1 创建分类树 . 130
7.6.2 改进分类树 . 133
7.6.3 解释分类树 . 134
7.6.4 交叉验证分类树 136
7.6.5 测量性能 . 138
7.7 决策树的应用 . 141

第 8 章 主成分分析 .148
8.1 降维方法 148
8.2 进行 PCA 的原因 . 149
8.3 PCA 数学原理 149
8.3.1 内积与投影 . 149
8.3.2 基 150
8.3.3 基变换的矩阵表示 151

文前.indd 5 2025/4/23 15:19:27 VI MATLAB 机器学习

8.4 PCA 涉及的主要问题 . 152
8.5 PCA 的优化目标 153
8.6 PCA 的求解步骤 154
8.7 PCA 的优缺点与应用场景 . 154
8.7.1 PCA 方法的优点 . 155
8.7.2 PCA 方法的缺点 . 155
8.7.3 PCA 的应用场景 . 155
8.8 PCA 相关函数 156
8.9 偏最小二乘回归和主成分回归 . 160

第 9 章 支持向量机分析 167
9.1 线性分类 167
9.1.1 逻辑回归 . 167
9.1.2 逻辑回归表述 SVM 168
9.1.3 线性分类简单实例 168
9.2 硬间隔 169
9.2.1 求解间隔 . 170
9.2.2 拉格朗日乘数法 171
9.2.3 对偶问题 . 172
9.2.4 软间隔 173
9.2.5 核（Kernel）函数 . 175
9.2.6 模型评估和超参数调优. 176
9.3 支持向量机的相关函数 178
9.3.1 支持向量机回归函数 178
9.3.2 支持向量机分类函数 185
9.4 用于二类分类的支持向量机 . 192
9.4.1 用高斯核训练 SVM 分类器 192
9.4.2 使用自定义核函数训练 SVM 分类器 195
9.4.3 绘制 SVM 分类模型的后验概率区域 198
9.4.4 使用线性支持向量机分析图像 . 200

第 10 章 朴素贝叶斯算法分析 203
10.1 贝叶斯公式 203
10.2 朴素贝叶斯算法的原理 204
10.3 朴素贝叶斯常用模型 205
10.3.1 伯努利朴素贝叶斯模型 . 205
10.3.2 多项式朴素贝叶斯 207
10.3.3 高斯朴素贝叶斯 208
10.4 拉普拉斯平滑 . 209
10.5 朴素贝叶斯算法的优缺点 210
10.6 朴素贝叶斯算法的创建函数 . 210

文前.indd 6 2025/4/23 15:19:27 目录 VII

10.7 朴素贝叶斯算法的实现 212
10.7.1 逻辑回归模型的贝叶斯分析 . 212
10.7.2 判别分析、朴素贝叶斯分类器和决策树进行分类 219

第 11 章 随机森林算法分析 227
11.1 集成学习 227
11.2 集成学习的常见算法 228
11.2.1 Bagging 算法 228
11.2.2 Boosting 算法 228
11.2.3 Stacking 算法 229
11.3 随机森林算法 . 230
11.3.1 随机森林算法简介 231
11.3.2 随机森林算法原理 231
11.3.3 随机森林算法优缺点 232
11.3.4 随机森林算法功能 233
11.3.5 随机森林算法实现函数 . 233
11.3.6 随机森林算法的应用 244

第 12 章 神经网络分析 .249
12.1 神经网络的概述 . 249
12.1.1 前馈神经网络 . 249
12.1.2 前馈神经网络的应用 253
12.2 卷积神经网络 . 258
12.2.1 用卷积代替全连接 258
12.2.2 卷积层 259
12.2.3 汇聚层 259
12.2.4 全连接层 . 260
12.2.5 典型的卷积神经网络结构 . 260
12.2.6 几种典型的卷积神经网络 . 260
12.2.7 卷积神经网络实现 263
12.3 循环神经网络 . 267
12.3.1 循环神经网络概述 267
12.3.2 循环神经网络的实现 272

文前.indd 7 2025/4/23 15:19:27文前.indd 8 2025/4/23 15:19:27