本书是普通高等院校十四五计算类专业系列教材之一，对并行计算的理论知识和并行程序设计方法进行了系统的论述，包括并行计算基本概念、并行计算机基础、并行计算模型、并行算法设计基础、并行计算性能评测、OpenMP多线程并行程序设计、MPI消息传递并行程序设计、Java多线程并行程序设计、Python并行程序设计、大数据分布式计算等内容。

本书集作者多年的教学经验编写而成，在论述并行计算理论知识的基础上，特别注重并行程序设计的实践方法及实用性。书中含有大量精心设计并调试通过的程序实例，以方便读者参考。

本书适合作为普通高等院校计算机科学与技术专业、软件工程专业以及计算机类相关专业本科生和研究生的教材，也可作为社会培训教材或软件开发人员的参考书。

本书突出实用性，将复杂的理论融于具体的实例和程序中。书中的实例经过精心设计挑选，程序代码已认真调试，可以直接运行，为读者理解和使用提供了方便。

刘其成，男，博士研究生，烟台大学计算机与控制工程学院教授，硕士生导师。专业方向为计算机应用。主授课程：软件设计与体系结构、Java面向对象程序设计、并行计算技术等。主编《软件设计与体系结构》、《软件体系结构与设计实用教程》、《并行计算与程序设计》、《Java程序设计基础》等多本教材。主持山东省自然科学基金、山东省教育厅科技计划项目。作为主要成员参与国家自然科学基金、山东省科技发展计划、山东省本科教学改革研究重点项目。发表学术论文几十篇，其中多篇被SCI/EI收录。获山东高等学校优秀科研成果奖三等奖。

第1章 概述 11.1 实例11.1.1 求和11.1.2 泡茶问题21.1.3 图书馆新书上架21.1.4 天气预报31.1.5 HPCC计划31.1.6 教务管理系统31.1.7 地球物理石油勘探数据处理系统41.2 并行计算基础知识51.2.1 并行计算的重要性51.2.2 并行计算的定义、并行计算机系统及软件61.2.3 并行计算的应用分类61.2.4 并行设计的方法71.2.5 应用系统的并行性81.2.6 并行计算的研究内容81.3 并行程序设计策略和模型91.3.1 并行程序设计策略91.3.2 并行程序设计模型91.4 相关概念101.4.1 顺序、并发与并行101.4.2 进程和线程111.4.3 一些基本概念12习题13第2章 并行计算机基础 14 2.1 并行计算机体系结构142.1.1 结点152.1.2 互联网络152.1.3 并行计算机访存模型192.2 并行计算机的分类202.2.1 并行计算机的控制结构202.2.2 地址空间212.2.3 并行计算机系统结构模型212.3 多核技术282.3.1 多核芯片282.3.2 片上多核处理器体系结构282.3.3 超线程技术292.3.4 基于多核的软件开发302.3.5 虚拟化技术302.4 GPU技术302.4.1 简介302.4.2 GPU与并行计算31习题32第3章 并行计算模型 33 3.1 并行计算模型概述333.1.1 串行计算模型与并行计算模型333.1.2 并行计算模型与并行算法333.1.3 并行计算模型与并行系统中其他模型的关系343.2 PRAM模型343.2.1 基本PRAM模型343.2.2 实例353.3 BSP模型363.3.1 BSP模型原理363.3.2 实例373.4 LogP模型383.4.1 LogP模型原理383.4.2 实例383.5 并行计算模型比较393.5.1 PRAM模型和LogP模型的比较393.5.2 BSP模型和LogP模型的比较39习题40第4章 并行算法设计基础 41 4.1 并行算法设计方法414.1.1 基本方法414.1.2 实例424.2 并行算法设计过程444.2.1 PCAM设计方法学454.2.2 划分454.2.3 通信474.2.4 组合494.2.5 映射514.3 并行算法设计技术524.4 求和问题的并行算法设计53习题54第5章 并行计算性能评测 55 5.1 基本概念555.1.1 运行时间555.1.2 问题规模565.1.3 额外开销函数565.2 并行系统的性能分析585.2.1 加速比585.2.2 效率625.2.3 开销635.2.4 粒度和数据映射对性能的影响635.2.5 实例645.3 并行系统的可扩展性度量645.3.1 可扩展性645.3.2 度量指标665.3.3 实例68习题69第6章 OpenMP多线程并行程序设计 70 6.1 OpenMP编程基础706.1.1 OpenMP多线程编程模型706.1.2 OpenMP程序结构716.1.3 使用Microsoft Visual Studio.NET编写OpenMP程序726.2 编译指导语句736.2.1 并行域结构parallel指令746.2.2 共享任务结构756.2.3 同步结构826.2.4 数据处理子句876.3 运行时库函数966.3.1 基本函数966.3.2 运行时库函数的互斥锁支持976.4 环境变量996.5 实例996.5.1 求和996.5.2 数值积分1036.6 OpenMP多线程程序性能分析1086.6.1 并行额外开销1086.6.2 线程同步带来的开销1106.6.3 负载均衡1116.6.4 OpenMP中的任务调度113习题119第7章 MPI消息传递并行程序设计 121 7.1 消息传递接口1217.1.1 简介1217.1.2 MPI程序特点1217.2 典型MPI实现MPICH 1237.2.1 简介1237.2.2 MPICH的安装和配置1237.3 MPI编程基础1277.3.1 简单的MPI程序示例1277.3.2 MPI程序的4个基本函数1287.3.3 统计时间1287.3.4 错误管理1287.4 MPI的点对点通信1297.4.1 点对点通信的例子1297.4.2 MPI_Send()函数1307.4.3 MPI_Recv()函数1307.4.4 消息管理七要素1317.4.5 非阻塞通信1337.5 MPI群集通信1337.5.1 一对多群集通信函数1337.5.2 多对一群集通信函数1347.5.3 多对多群集通信函数1357.5.4 同步函数1367.6 实例1377.6.1 求和1377.6.2 数值积分138习题139第8章 Java多线程并行程序设计 140 8.1 线程1408.1.1 基本概念1408.1.2 线程的状态与生命周期1418.1.3 线程调度与优先级1428.2 Runnable接口与Thread类1428.2.1 Runnable接口1428.2.2 Thread类1428.3 多线程的实现1448.3.1 创建Thread类的子类1448.3.2 实现Runnable接口1478.3.3 两种方法的比较1478.4 线程的同步与死锁1508.4.1 线程同步1508.4.2 线程死锁1568.5 实例1568.5.1 求和1568.5.2 数值积分159习题161第9章 Python并行程序设计 162 9.1 Python多线程1629.2 Python多进程并行程序设计1639.2.1 Process类实现并行1639.2.2 Python多进程的通信1659.2.3 Python多进程的数据共享1679.2.4 进程间同步1699.2.5 进程池1699.2.6 实例1719.3 Python GPU并行程序设计1749.3.1 概述1749.3.2 常用函数1759.3.3 神经网络概述1799.3.4 实例181习题183第10章 大数据分布式计算 184 10.1 Hadoop分布式计算平台18410.2 MapReduce分布式并行编程模型18510.2.1 MapReduce模型简介18510.2.2 MapReduce工作流程18610.2.3 WordCount分析18810.2.4 MapReduce实例18910.3 Spark分布式计算框架19310.3.1 并行程序设计策略19310.3.2 Spark RDD基本操作19510.3.3 Spark应用程序实例196习题197参考文献 198