本书概述了城市计算的定义、框架和主要研究问题，以典型应用为案例着重介绍大数据中异构数据的融合和协同计算技术。

本书由京东集团副总裁、城市计算业务单元的负责人郑宇博士所著，详细介绍了城市计算的基本概念、方法论、关键技术及其在各个领域的应用案例，其中包括大数据分析、物联网、人工智能、地理信息系统等现代信息技术在城市计算中的应用，以及城市规划、交通、环境、能源等领域的具体实践。通过这些案例，读者可以了解城市计算如何助力城市解决实际问题，实现高质量发展。

前　　言

快速的城市化导致了许多大城市的扩张，在使生活变得现代化的同时，也带来了巨大的挑战，如空气污染、能源消耗和交通拥堵等。考虑到城市的复杂和动态环境，几年前要应对这些挑战似乎是不可能的。而现在，感知技术和大规模计算基础设施已经产生了各种大数据，如人类流动、气象、交通模式和地理数据等。了解相应的大数据意味着对一座城市有了充分的了解。如果对大数据的使用得当，将有助于我们应对这些挑战。此外，云计算和人工智能等计算技术的兴起为我们提供了前所未有的数据处理能力。

在这种情况下，城市计算作为一个跨学科领域蓬勃发展，并将计算机科学与传统的城市相关领域（如城市规划、交通、环境科学、能源工程、经济学和社会学等）相结合。城市计算旨在释放城市数据中的知识力量，解决城市中的重大问题，从而实现人、城市运营系统和环境之间的三赢。简而言之，城市计算将通过大数据、云计算、人工智能等先进计算技术来应对城市挑战。

多年来，人们一直在讨论智慧城市的愿景，希望整合多种信息和通信技术来源来提高生活质量。然而，目前尚不清楚如何实现这样一个广阔的愿景。城市计算没有停留在对智慧城市愿景无休止的讨论中，而是在以数据为中心的计算框架中通过具体的方法来应对特定的城市挑战，该框架包括城市感知、城市数据管理、城市数据分析及所提供服务。

尽管已有其他几本关于城市信息学的书，但这是一本专门研究城市计算的书，涵盖范围广泛，叙述严谨。本书从计算机科学的角度介绍了城市计算的一般框架、关键研究问题、方法和应用。具体地，本书专注于数据和计算，将城市计算与基于经典模型和经验假设的传统城市科学区分开来。
本书面向高年级本科生、研究生、研究人员和专业人士，涵盖了城市计算领域的主要基础知识和关键高级主题。每一章都是一个教程，介绍城市计算的一个重要方面，并为相关研究提供许多有价值的参考。本书为研究人员和应用程序开发人员全面讲解了城市感知、城市数据管理、城市数据分析及所提供服务的一般概念、技术和应用，帮助读者探索这一领域并开发新的方法和应用程序，最终实现更绿色、更智能的城市。本书也为研究生和其他感兴趣的读者提供了城市计算研究领域的最新进展。

本书根据城市计算的框架进行组织，如下图所示，由四个部分组成：概念和框架、城市感知与数据采集、城市数据管理、城市数据分析。

图　城市计算框架

本书的第一部分（第1章和第2章）给出城市计算的概述。

第1章介绍了城市计算的关键概念和框架，从计算机科学的角度讨论了框架各层面临的主要挑战。介绍了城市的数据来源，根据数据结构和时空特性将城市数据分为六类。该章末尾列出了一些公共数据集。

第2章介绍了城市计算在不同领域的典型应用，包括交通、城市规划、环境保护、能源、经济、公共安全以及社交和娱乐领域。这些应用拓宽了我们的视野，提出了新的研究课题，也激发了新的想法。

本书的第二部分（第3章）介绍了数据的来源和收集方法。

第3章介绍了城市感知的四种范式，包括静态感知、移动感知、被动人群感知和主动人群感知。前两种范式属于以传感器为中心的感知，后两种范式属于以人为中心的感知。对于以传感器为中心的感知模式，介绍了四种传感器部署模型。对于以人为中心的感知范式，提出了参与者招募和任务设计的技术。最后介绍了三类模型，包括空间模型、时间模型和时空模型，用于填补地质传感器数据中的缺失值。

本书的第三部分由第4~6章组成，介绍了空间数据和时空数据的数据管理。从基本的索引和检索算法开始，讨论了使用云计算平台来管理空间数据和时空数据的技术。

第4章首先从建立索引、服务时空范围查询、服务最近邻查询和更新索引四个角度介绍了四种广泛使用的空间数据索引结构，包括基于网格的索引、基于四叉树的索引、k-d树和R树。然后介绍了管理时空数据的技术，包括移动对象数据库和轨迹数据管理。前者更关心移动对象在（通常是最近的）时间戳上的具体位置，后者涉及移动对象在给定时间间隔内经过的连续运动（例如路径）。关于移动对象数据库，描述了三种查询和两种索引方法。一种索引方法在每个时间戳上建立一个空间索引，并在连续的时间间隔内重用索引的未更改子结构。另一种索引方法将时间视为第三维度，将空间索引结构从管理二维空间数据扩展到管理三维时空数据。关于轨迹数据管理，提出了三种类型的查询，包括范围查询、k近邻查询和路径查询，还为轨迹数据设计了不同距离度量。最后介绍了用于管理多个数据集的混合索引结构。

第5章从存储、计算和应用程序接口的角度介绍了云计算平台中的主要组件。使用Microsoft Azure作为示例平台来描述每个组件的框架和一般使用过程。Microsoft Azure中的存储进一步由SQL Server、Azure存储和Redis组成。Microsoft Azure计算资源包括虚拟机、云服务和HDInsight。HDInsight是Microsoft Azure中的一个分布式计算组件，用于执行大规模数据预处理、管理和挖掘，并包含广泛使用的Hadoop、Spark和Storm。Azure提供的应用程序接口由Web应用程序、移动应用程序和API应用程序组成。这些组件确保了城市计算应用程序的顺利和可靠实现。

第6章介绍了分别为六种类型的时空数据设计的数据管理方案，这些方案使当前的云计算平台能够以最小的工作量管理海量和动态的时空数据。对于每种类型的数据，根据是否使用空间索引或时空索引以及是否将其部署在分布式系统上，提出了四种数据管理方案。不是从根本上重建一个新的平台，而是利用当前云上的现有资源和架构，如云存储和HDInsight，为空间数据和时空数据创建一个增强的数据管理平台。四种方案中最高级的数据管理方案将空间索引和时空索引（例如，基于网格的索引、R树和3D R树）集成到分布式计算系统中，如HDInsight中的Spark和Storm。这种高级的方案结合了双方的优势，使我们能够更高效地处理更大规模的时空数据，同时使用更少的计算资源。

本书的第四部分由第7~10章组成，介绍了从城市数据中挖掘知识的基本技术和高级主题。从基本的数据挖掘算法开始，介绍了针对时空数据设计的高级机器学习技术以及跨领域知识融合方法。最后讨论了城市计算的一些高级主题，如选择有用的数据集、轨迹数据挖掘、将数据管理与机器学习相结合以及交互式视觉数据分析等。

第7章介绍了数据挖掘的一般框架，包括两个主要部分：数据预处理和数据分析。数据预处理部分又包括数据清洗、数据转换和数据集成。数据分析由各种数据挖掘模型、结果表示和评估组成。根据模型要完成的任务，数据挖掘模型可以分为五大类：频繁模式挖掘、聚类、分类、回归和异常值检测。对于每一类模型，该章在从空间数据和时空数据中挖掘知识的背景下介绍了其总体思想和具体示例。

第8章首先讨论了时空数据与图像和文本数据相比的不同性质。空间属性包括空间距离和空间层次。时间属性由时间接近度、周期和趋势组成。这些独特的属性使得需要专门为时空数据设计高级机器学习算法。然后，该章介绍了时空数据背景下六类机器学习算法（包括协同过滤、矩阵分解、张量分解、概率图模型、深度学习和强化学习）的原理，并提供了丰富的实例来展示这些机器学习算法应该如何适应时空数据。例如，耦合矩阵分解被设计为能够进行位置推荐和交通状况估计。贝叶斯网络用于推断交通量、进行地图匹配和发现区域的潜在功能。特定的马尔可夫随机场用于预测用户的交通方式和一个地方的空气质量。最后提出了一个独特的专门用于预测城市中每个地区的人群流量的深度学习模型。

传统的数据挖掘通常处理来自单个域的数据。在大数据时代，我们面临着来自不同领域不同来源的无数数据集。这些数据集由多个模态组成，每个模态都有不同的表示、分布、规模和密度。融合多个数据集的目的包括填充缺失值、预测未来、推断因果关系、分析对象、排序和检测异常。在大数据研究中，能够释放多个不同（但可能有关）数据集中知识的能量至关重要，这从本质上区分了大数据和传统的数据挖掘任务。这就需要高级的技术，以在机器学习和数据挖掘任务中有机地融合来自各种数据集的知识。第9章介绍了三类知识融合方法，包括基于阶段的方法、基于特征的方法和基于语义意义的方法。最后一类融合方法进一步分为四组：基于多视图、基于相似性、基于概率依赖和基于迁移学习的方法。这些方法侧重于知识融合，而不是模式映射和数据合并，显著区分了跨领域数据融合和数据库社区中研究的传统数据融合。该章不仅介绍了每一类方法的原理，还介绍了使用这些技术处理真实大数据问题的有价值的示例。此外，该章将现有的研究放在一个框架内，探讨了不同知识融合方法之间的关系和差异。

第10章在前几章介绍的基本技术的基础上讨论了一些城市数据分析的高级主题。第一，给定一个城市计算问题，通常需要确定应该选择哪些数据集来解决给定问题。通过选择正确的数据集，我们更有可能高效地解决问题。第二，轨迹数据具有复杂的数据模型，包含了关于移动对象的丰富知识，从而需要独特的数据挖掘技术。第三，从大规模数据集中提取具有深远意义的知识需要高效的数据管理技术和有效的机器学习模型，这两种技术的有机结合对于完成城市计算任务是必不可少的。第四，解决城市计算问题需要数据科学知识和领域知识。如何将人类智能与机器智能相结合是一个值得讨论的前沿课题。交互式视觉数据分析可能是解决这一问题的一种方法。
对于年轻且不断发展的城市计算领域，希望本书能提供有益的参考并且是一本实用的教程。

郑　宇

郑宇
京东金融的副总裁和首席数据科学家，致力于利用大数据和人工智能技术应对城市挑战。他是城市计算业务单元的负责人，同时担任京东智能城市研究院院长。在加入京东集团之前，他曾在微软研究院担任高级研究员，研究兴趣包括大数据分析、时空数据挖掘、机器学习和人工智能。

郑宇多次出现在有影响力的期刊上，2013年，被《麻省理工科技论》评为“35岁以下最具创新力人士”（简称 TR35），并因他在城市计算方面的研究而登上《时代》杂志。2014年，由于自2008年以来他一直倡导的城市计算对商业的影响，被《财富》杂志评为“中国四十位40岁以下商界精英”。2016年，郑宇被提名为 ACM 杰出科学家。2017年，被评为“中国十大 AI 创新者”之一。

目　　录
译者序
前言
致谢
关于作者

第一部分　概念和框架

第1章　概述2
　1.1　引言2
　1.2　城市计算的定义3
　1.3　总体框架3
1.3.1　简述和示例3
1.3.2　各层功能4
　1.4　城市计算的关键挑战6
1.4.1　城市感知挑战7
1.4.2　城市数据管理挑战10
1.4.3　城市数据分析挑战11
1.4.4　城市服务挑战14
　1.5　城市数据18
1.5.1　城市数据的分类18
1.5.2　地理数据20
1.5.3　道路网络上的交通数据21
1.5.4　移动电话数据22
1.5.5　通勤数据22
1.5.6　环境监测数据23
1.5.7　社交网络数据25
1.5.8　能源25
1.5.9　经济25
1.5.10　医疗保健26
　1.6　公共数据集26
　参考文献27
第2章　城市计算应用33
　2.1　引言33
　2.2　用于城市规划的城市计算33
2.2.1　揭示交通网络中的潜在问题33
2.2.2　发现功能区域35
2.2.3　检测城市边界36
2.2.4　设施和资源部署37
　2.3　用于交通系统的城市计算39
2.3.1　改善驾驶体验39
2.3.2　改善出租车服务41
2.3.3　改善公交服务43
2.3.4　地铁服务44
2.3.5　自行车共享系统45
　2.4　用于环境的城市计算47
2.4.1　空气质量47
2.4.2　噪声污染50
2.4.3　城市水资源52
　2.5　用于城市能源消耗的城市计算54
2.5.1　汽油消耗54
2.5.2　电力消耗55
　2.6　用于社交应用的城市计算56
2.6.1　基于位置的社交网络概念56
2.6.2　理解基于位置的社交网络中的用户56
2.6.3　位置推荐57
　2.7　用于经济服务的城市计算58
2.7.1　商业位置选择58
2.7.2　优化城市物流60
　2.8　用于公共安全和保障的城市计算61
2.8.1　检测城市异常61
2.8.2　预测人群流动63
　2.9　总结64
　参考文献64

第二部分　城市感知与数据采集

第3章　城市感知80
　3.1　引言80
3.1.1　城市感知的四种范式80
3.1.2　城市感知的一般框架82
　3.2　传感器和设施部署84
3.2.1　寻找最佳汇合点84
3.2.2　最大化覆盖范围86
3.2.3　学习排序候选位置89
3.2.4　最小化不确定性91
　3.3　以人为中心的城市感知92
3.3.1　数据评估93
3.3.2　参与者招募与任务设计94
　3.4　补充缺失值96
3.4.1　问题与挑战96
3.4.2　空间模型97
3.4.3　时间模型100
3.4.4　时空模型102
　3.5　总结104
　参考文献104

第三部分　城市数据管理

第4章　时空数据管理110
　4.1　引言110
4.1.1　数据结构110
4.1.2　查询110
4.1.3　索引111
4.1.4　检索算法112
　4.2　数据结构113
4.2.1　基于点的空间静态数据113
4.2.2　基于点的空间时间序列数据114
4.2.3　基于点的时空数据114
4.2.4　基于网络的空间静态数据115
4.2.5　基于网络的空间时间序列数据115
4.2.6　基于网络的时空数据116
　4.3　空间数据管理117
4.3.1　基于网格的空间索引117
4.3.2　基于四叉树的空间索引118
4.3.3　基于k-d树的空间索引120
4.3.4　基于R树的空间索引123
　4.4　时空数据管理126
4.4.1　管理空间静态时间动态数据126
4.4.2　移动对象数据库127
4.4.3　轨迹数据管理131
　4.5　管理多个数据集的混合索引138
4.5.1　查询和动机138
4.5.2　空间关键词139
4.5.3　管理多个数据集的索引145
　4.6　总结147
　参考文献148
第5章　云计算导论152
　5.1　引言152
　5.2　存储153
5.2.1　SQL数据库153
5.2.2　Azure存储155
5.2.3　Redis缓存162
　5.3　计算163
5.3.1　虚拟机163
5.3.2　云服务164
5.3.3　HDInsight166
　5.4　应用176
5.4.1　Web应用177
5.4.2　移动应用178
5.4.3　API应用179
　5.5　总结179
　参考文献179
第6章　在云端管理时空数据182
　6.1　引言182
6.1.1　挑战182
6.1.2　云上的通用数据管理方案183
　6.2　管理基于点的数据184
6.2.1　管理基于点的时空静态数据184
6.2.2　管理基于点的空间静态时间动态数据188
6.2.3　管理基于点的时空动态数据192
　6.3　管理基于网络的数据196
6.3.1　管理时空静态网络196
6.3.2　管理基于网络的空间静态时间动态数据200
6.3.3　管理基于网络的时空动态数据203
　6.4　城市大数据平台206
　6.5　总结208

第四部分　城市数据分析

第7章　城市数据的基本数据挖掘技术210
　7.1　引言210
7.1.1　数据挖掘的一般框架210
7.1.2　数据挖掘与相关技术之间的关系212
　7.2　数据预处理214
7.2.1　数据清洗214
7.2.2　数据转换216
7.2.3　数据集成217
　7.3　频繁模式挖掘和关联规则222
7.3.1　基本概念222
7.3.2　频繁项集挖掘方法224
7.3.3　序列模式挖掘227
7.3.4　频繁子图模式挖掘232
　7.4　聚类234
7.4.1　概念234
7.4.2　划分聚类方法235
7.4.3　密度聚类方法236
7.4.4　层次聚类方法240
　7.5　分类241
7.5.1　概念241
7.5.2　朴素贝叶斯分类法243
7.5.3　决策树244
7.5.4　支持向量机246
7.5.5　不平衡数据的分类248
　7.6　回归250
7.6.1　线性回归250
7.6.2　自回归252
7.6.3　回归树253
　7.7　异常值检测255
7.7.1　基于邻近性的异常值检测255
7.7.2　基于统计的异常值检测258
　7.8　总结260
　参考文献261
第8章　用于时空数据的高级机器学习技术266
　8.1　引言266
　8.2　时空数据的独特性质266
8.2.1　空间属性266
8.2.2　时间属性268
　8.3　协同过滤269
8.3.1　基本模型：基于用户和基于物品270
8.3.2　时空数据的协同过滤272
　8.4　矩阵分解275
8.4.1　基本矩阵分解方法275
8.4.2　时空数据的矩阵分解277
　8.5　张量分解279
8.5.1　张量的基本概念279
8.5.2　张量分解方法281
8.5.3　时空数据的张量分解283
　8.6　概率图模型287
8.6.1　一般概念287
8.6.2　贝叶斯网络288
8.6.3　马尔可夫随机场294
8.6.4　用于时空数据的贝叶斯网络295
8.6.5　用于时空数据的马尔可夫网络304
　8.7　深度学习308
8.7.1　人工神经网络309
8.7.2　卷积神经网络311
8.7.3　循环神经网络314
8.7.4　用于时空数据的深度学习316
　8.8　强化学习319
8.8.1　强化学习的概念319
8.8.2　表格动作值方法321
8.8.3　近似方法325
　8.9　总结327
　参考文献328
第9章　跨领域知识融合334
　9.1　引言334
9.1.1　与传统数据集成的关系335
9.1.2　与异构信息网络的关系336
　9.2　基于阶段的知识融合337
　9.3　基于特征的知识融合339
9.3.1　特征连接与正则化339
9.3.2　基于深度学习的知识融合341
　9.4　基于语义意义的知识融合343
9.4.1　基于多视图的知识融合343
9.4.2　基于相似性的知识融合347
9.4.3　基于概率依赖的知识融合351
9.4.4　基于迁移学习的知识融合352
　9.5　不同融合方法的比较357
9.5.1　数据集的体积、特征和洞察358
9.5.2　机器学习任务的目标358
9.5.3　机器学习算法的学习方法359
9.5.4　效率和可扩展性359
　9.6　总结359
　参考文献360
第10章　城市数据分析的高级主题365
　10.1　如何选择有用的数据集365
10.1.1　理解目标问题366
10.1.2　数据背后的信息366
10.1.3　验证假设367
　10.2　轨迹数据挖掘370
10.2.1　轨迹数据371
10.2.2　轨迹预处理372
10.2.3　轨迹数据管理379
10.2.4　轨迹中的不确定性379
10.2.5　轨迹模式挖掘381
10.2.6　轨迹分类385
10.2.7　从轨迹中检测异常386
10.2.8　将轨迹转换到其他表示形式387
　10.3　将机器学习与数据管理相结合391
10.3.1　动机391
10.3.2　使用索引结构加速机器学习393
10.3.3　缩减机器学习的候选对象396
10.3.4　导出边界以修剪机器学习的计算空间397
　10.4　交互式视觉数据分析397
10.4.1　合并多个复杂因素398
10.4.2　在没有先验知识的情况下调整参数398
10.4.3　深入挖掘结果398
　10.5　总结399
　参考文献399