本书是一部面向非数据科学专业本科生编写的通识教材，全书围绕“数据如何改变人们认识世界和作出决策的方式”这一核心问题，系统介绍了大数据时代的基本概念、思维方式、实践逻辑与现实应用。本书立足数字社会发展背景，注重培养学生的数据意识、数据思维、数据驱动决策能力，以及数字时代的规则意识与责任意识，帮助学生理解大数据是什么、为什么重要、怎样影响决策，以及在现实中发挥作用。全书内容涵盖大数据的基本概念与发展背景、大数据思维与决策方式、数据采集与预处理、数据存储与管理、数据分析与挖掘、数据可视化表达、大数据安全与隐私保护、大数据与新兴技术融合，以及数据经济、数据流通与治理等，较为完整地呈现了数据从采集、处理、存储和分析，到应用、治理和价值实现的全过程。本书注重案例驱动与问题导向，融入了大量贴近学生生活、公共治理、商业实践和社会现象的真实案例，帮助读者在具体场景中理解数据的作用、价值及其边界，并逐步形成运用数据发现问题、分析问题和辅助决策的思维方式。本书可作为高等学校大数据通识教育、数字素养教育及相关公共基础课程的教材，也可供希望了解大数据思维与数据驱动决策的读者学习参考。

卢雪琴，女，副教授，所在团队负责的《多媒体技术基础》获校级优秀网络课程，宁波市哲学规划课题《高质量发展视域下宁波传统制造业与数字经济深度融合的内在机制和实现路径研究》，主持，校科研基金项目《多源信息融合视角下中小企业财务危机预测模型研究》主持。

第1章 走进大数据时代 1
开篇案例 1
1.1 信息时代的演进 2
1.1.1 从信息化到数字化再到智能化 3
1.1.2 数据爆炸与数字化社会 4
1.1.3 第四次工业革命与数据革命 7
1.2 大数据时代的基本特征 9
1.2.1 数据量规模巨大 9
1.2.2 数据类型多样化 11
1.2.3 数据处理实时性 11
1.2.4 社会运行数字化 12
1.3 大数据对社会发展的影响 14
1.3.1 商业模式的变革 14
1.3.2 社会治理的数字化转型 16
1.3.3 数字生活与个人行为改变 18
1.3.4 就业结构的调整 20
1.4 大数据对科学研究范式的改变 22
1.4.1 科学研究范式的演进 22
1.4.2 大数据如何改变科学研究方式 23
1.4.3 数据密集型科学的价值与局限 24
1.5 案例分析：疫情防控期间数据治理与社会协同 24
1.5.1 病毒数据监测 24
1.5.2 流调与疫情追踪 25
1.5.3 物资调配与资源配置 25
1.5.4 社会运行保障 26
1.5.5 数据治理的挑战 26
本章小结 26
实践活动 27
第2章 认识大数据 29
开篇案例 29
2.1 大数据概述 30
2.1.1 概念提出与发展 30
2.1.2 基本内涵 32
2.1.3 大数据与传统数据的区别 33
2.1.4 大数据是一种新型的信息资源 34
2.2 大数据的“5V”特征 35
2.2.1 体量大 36
2.2.2 速度快 36
2.2.3 类型多 36
2.2.4 价值密度低 37
2.2.5 真实性 37
2.3 大数据类型 38
2.3.1 结构化数据 38
2.3.2 半结构化数据 39
2.3.3 非结构化数据 39
2.4 数据的其他分类方式 40
2.4.1 按时间特性划分 40
2.4.2 按开放属性划分 41
2.5 大数据的生命周期 42
2.5.1 数据产生与采集 42
2.5.2 数据存储与管理 43
2.5.3 数据处理与分析 43
2.5.4 数据应用与服务 43
2.5.5 数据安全、共享与销毁 43
2.6 案例分析：电商平台的数据生命周期 44
2.6.1 用户行为数据产生 45
2.6.2 平台数据采集与存储 45
2.6.3 数据分析与用户画像 45
2.6.4 推荐系统与商业应用 46
本章小结 46
实践活动 47
第3章 大数据思维 52
开篇案例 53
3.1 从传统思维到大数据思维 53
3.1.1 从抽样到全量 54
3.1.2 从精确控制到概率 55
3.1.3 从因果到关联 56
3.1.4 从经验到数据驱动 57
3.2 大数据思维的核心要素 58
3.2.1 数据意识 59
3.2.2 统计与概率思维 60
3.2.3 计算思维 61
3.2.4 系统思维 62
3.2.5 创新思维 63
3.3 大数据思维驱动的决策变革 64
3.3.1 循证决策 65
3.3.2 预测性决策 65
3.3.3 实时决策 65
3.3.4 个性化决策 66
3.4 大数据思维的边界与反思 67
3.4.1 数据偏差与算法偏差 67
3.4.2 信息茧房与认知局限 69
3.4.3 技术理性与价值判断 70
3.4.4 数据驱动决策中的伦理边界 71
3.5 案例分析：Netflix 的个性化推荐与数据思维 71
3.5.1 Netflix 如何理解用户行为 72
3.5.2 推荐系统背后的数据与算法逻辑 73
3.5.3 个性化推荐带来的价值与争议 74
3.5.4 从案例看大数据思维的优势与边界 74
本章小结 75
拓展阅读 76
第4章 数据采集与预处理 79
开篇案例 80
4.1 数据采集概述 81
4.1.1 数据采集的本质和意义 81
4.1.2 数据采集方式的演进 82
4.1.3 大数据采集的特点与挑战 83
4.1.4 数据采集的基本原则 84
4.2 数据采集的主要来源 85
4.2.1 互联网数据 86
4.2.2 物联网与传感器数据 87
4.2.3 系统日志数据 88
4.2.4 企业业务数据 89
4.2.5 政府与公共数据 90
4.2.6 社交媒体数据 91
4.3 数据采集的主要方式 92
4.3.1 日志文件采集 92
4.3.2 网络爬虫采集 94
4.3.3 API接口采集 95
4.3.4 数据库同步与文件导入 96
4.3.5 人工填报与问卷采集 97
4.4 数据质量问题 99
4.4.1 数据缺失 99
4.4.2 数据错误 100
4.4.3 数据重复与冗余 101
4.4.4 数据不一致与时效性问题 102
4.5 数据预处理 103
4.5.1 数据清洗 104
4.5.2 数据集成 105
4.5.3 数据转换 106
4.5.4 数据规约 109
4.5.5 数据标准化与质量改进 110
4.6 数据采集的规范边界 111
4.7 案例分析：城市治理系统的多源数据采集与预处理 112
4.7.1 数据来源与采集方式 113
4.7.2 数据预处理过程 114
4.7.3 数据质量与规范边界 115
4.7.4 案例启示 115
本章小结 116
实践活动 116
第5章 数据存储与数据管理 119
开篇案例 119
5.1 数据存储方式的演进 121
5.1.1 文件系统与关系数据库 122
5.1.2 传统数据存储的局限性 124
5.1.3 大数据时代对存储的要求 124
5.2 大数据时代的数据存储技术 126
5.2.1 分布式文件系统 126
5.2.2 NoSQL数据库 128
5.2.3 NewSQL数据库 131
5.2.4 云存储服务 132
5.3 数据平台与数据组织方式 134
5.3.1 数据仓库 135
5.3.2 数据湖 138
5.3.3 数据集市 139
5.4 企业级数据管理与数据治理 143
5.4.1 元数据管理 143
5.4.2 数据标准与数据质量管理 143
5.4.3 数据共享与数据协同 144
5.4.4 企业数据平台建设 144
5.5 案例分析“浙里办”背后的数据整合与平台支撑 145
5.5.1 从多头跑到“一网通办” 146
5.5.2 跨部门数据整合与平台汇聚 146
5.5.3 数据管理与政务服务支撑 148
5.5.4 政务数据平台的建设启示 149
本章小结 149
拓展阅读 150
第6章 大数据分析与挖掘 155
开篇案例 155
6.1 认识数据分析与数据挖掘 156
6.1.1 数据分析与数据挖掘的基本概念 156
6.1.2 大数据分析与传统数据分析的区别 158
6.1.3 数据分析创造价值 159
6.1.4 数据分析在决策中的作用 160
6.1.5 数据如何支持预测 160
6.2 数据分析的基本流程 161
6.2.1 明确问题与分析目标 162
6.2.2 数据准备与探索分析 162
6.2.3 选择方法与开展分析 163
6.2.4 结果解释、验证与持续优化 164
6.3 常见的数据分析与数据挖掘方法 164
6.3.1 分类与预测分析 165
6.3.2 聚类与用户分群 165
6.3.3 关联规则与模式发现 166
6.3.4 时间变化与异常识别 167
6.4 面向特殊类型数据的分析 169
6.4.1 文本数据分析 169
6.4.2 社交网络与关系数据分析 171
6.5 从分析结果到决策行动 172
6.5.1 分析结果的可靠性评估 172
6.5.2 从分析结果到业务洞察 173
6.5.3 从数据洞察到决策行动 174
6.6 案例分析：电商平台的大数据分析实践 176
6.6.1 业务背景与分析目标 176
6.6.2 数据准备与探索 178
6.6.3 多维度分析与挖掘 179
6.6.4 分析结果的业务应用 183
6.6.5 效果评估与持续优化 186
本章小结 190
拓展阅读 190
第7章 大数据可视化 195
开篇案例 196
7.1 数据可视化的基本认识 196
7.1.1 数据可视化的概念与作用 197
7.1.2 数据可视化的发展演进 198
7.1.3 数据可视化的主要特点 198
7.1.4 数据可视化的一般流程 200
7.2 数据可视化的价值与应用 200
7.2.1 数据观测与动态监测 201
7.2.2 规律发现与问题识别 201
7.2.3 信息沟通与决策支持 202
7.3 数据可视化的设计基础 204
7.3.1 数据可视化设计原则 204
7.3.2 常见图表类型与适用场景 206
7.3.3 数据可视化中的常见误区 207
7.4 不同数据类型的可视化表达 208
7.4.1 文本与语义数据可视化 209
7.4.2 网络结构与关系数据可视化 211
7.4.3 地理空间数据可视化 214
7.4.4 多维数据可视化 216
7.4.5 实时数据与交互可视化 218
7.5 案例分析：共享单车数据可视化与运营决策 220
7.5.1 问题背景与数据来源 220
7.5.2 数据整理与分析框架 222
7.5.3 用车需求与时间规律分析 222
7.5.4 气象因素与用户行为特征分析 223
7.5.5 可视化结果支持下的运营优化建议 225
本章小结 227
拓展阅读 227
第8章 大数据安全与伦理 231
开篇案例 231
8.1 大数据安全概述 232
8.1.1 数据安全的基本概念与内涵 233
8.1.2 数据安全的重要性 233
8.1.3 大数据安全与传统信息安全的区别 234
8.1.4 大数据安全问题的形成原因 235
8.1.5 大数据安全问题的分类 236
8.1.6 大数据安全面临的主要威胁 237
8.2 大数据安全技术体系 238
8.2.1 数据加密技术 239
8.2.2 身份认证与访问控制 240
8.2.3 安全审计与风险监测 242
8.2.4 数据脱敏与匿名化 243
8.2.5 新兴数据安全技术 244
8.3 数据安全治理与合规管理 245
8.4 大数据隐私保护 246
8.4.1 隐私的概念与内涵 246
8.4.2 大数据环境下的隐私风险 247
8.4.3 隐私保护的主要方法 248
8.4.4 数据利用与隐私保护的平衡 249
8.5 大数据伦理与社会责任 250
8.5.1 数据伦理的概念 251
8.5.2 算法偏见与算法歧视 252
8.5.3 知情同意、数据权利与平台责任 252
8.5.4 数据垄断与企业社会责任 253
8.6 案例分析：典型数据安全与隐私事件透视 254
8.6.1 棱镜门事件 254
8.6.2 Equifax数据泄露事件 255
8.6.3 手机应用过度采集个人信息 256
8.6.4 免费Wi-Fi与“探针盒子” 256
本章小结 257
实践活动 258
第9章 大数据与新兴技术融合 261
开篇案例 261
9.1 新兴技术与大数据的协同发展 262
9.1.1 新兴数字技术的内涵与类型 263
9.1.2 大数据的枢纽作用 263
9.1.3 技术融合的演进趋势 264
9.2 大数据与人工智能 265
9.2.1 人工智能发展的数据基础 265
9.2.2 大数据对人工智能发展的推动 266
9.2.3 人工智能对数据分析能力的提升 266
9.2.4 大数据与人工智能的融合应用 267
9.3 大数据与云计算 270
9.3.1 云计算对大数据处理的支撑 270
9.3.2 大数据对云计算演进的推动 272
9.3.3 云原生环境下的数据处理方式 273
9.4 大数据与物联网 274
9.4.1 物联网与现实世界的数据连接 274
9.4.2 物联网作为大数据的重要来源 276
9.4.3 物联网数据的特点与挑战 277
9.4.4 大数据驱动的物联网智能化发展 278
9.5 大数据与区块链 278
9.5.1 区块链对数据可信性的提升 279
9.5.2 区块链在数据确权与流通中的应用 279
9.5.3 大数据与区块链的互补关系 280
9.6 大数据、5G和边缘计算 281
9.6.1 5G网络对数据连接方式的改变 282
9.6.2 边缘计算对数据处理时效性的提升 282
9.6.3 云边端协同的新应用场景 284
9.7 案例分析：智慧城市中的技术融合——杭州“城市大脑” 285
9.7.1 从城市感知到城市认知 285
9.7.2 多种技术协同下的治理闭环 286
9.7.3 城市大脑的实践启示 287
本章小结 288
拓展阅读 288
第10章 数据经济与数据产业生态 292
开篇案例 292
10.1 数据作为新型生产要素 293
10.1.1 数据经济的基本内涵 293
10.1.2 数据经济的主要特征 294
10.1.3 数据要素的价值基础 294
10.2 数据价值的形成 296
10.2.1 数据价值创造的基本链条 296
10.2.2 数据如何转化为产品、服务与决策支持 297
10.2.3 数据价值实现的条件与约束 298
10.3 数据产业链与产业生态 299
10.3.1 数据产业链的基本结构 299
10.3.2 数据产业生态中的主要参与主体 301
10.3.3 产业链协同与平台作用 301
10.4 数据流通与数据价值释放 302
10.4.1 数据流通有助于提高数据资源利用效率 302
10.4.2 数据孤岛制约数据价值实现 303
10.4.3 数据共享是打通数据孤岛的重要路径 303
10.4.4 数据交易推动数据资源的市场化配置 304
10.5 数据开放与公共价值 305
10.5.1 数据开放的内涵及其与信息公开的区别 306
10.5.2 数据开放的公共价值与实践推进 307
10.6 数据流程的规则边界与治理 308
10.6.1 数据流通的边界与合规要求 308
10.6.2 数据确权、授权与收益分配 309
10.6.3 平台治理、公共利益与规则机制 310
本章小结 310