数据分析入门_赵宏、闫晓玉、高裴裴、李妍_9787302673385

智能化时代背景下，教育重心已由知识能力偏移到能力认知，本书以智能化时代下人类的数字素养和能力数据分析为媒介，帮助读者构建问题逻辑认知模式，并在AI陪伴下提升读者解决问题和创新的能力。全书要完成两个任务: 一是描述性数据分析案例数据分析师岗位情况分析；二是综合数据分析案例气候变化对生物多样性的影响分析。每个案例都通过5个环节去分析问题: ①提出要解决的问题; ②探索问题本质; ③学习解决问题的方法; ④对问题进行求解; ⑤对求解情况进行评价和反思。使读者始终浸润在为解决问题而进行学习和探索的氛围中。读者不仅围绕解决一个一个问题而开展学习，而且不断收获数据分析最基本的知识和方法之鱼（知识），还掌握了获得授人以鱼不如授人以渔中渔的能力，更重要的是构建起问题逻辑认知模式（认知思维）。读者在能力认知方面的训练和形成的思维模式，为智能化时代中的创新做好准备，打下基础。
本书适合高等学校文理科各专业特别是学科融合专业学生，在学习数据分析的同时，培养创新和解决问题的能力，也适合有此类需求的读者学习。读者需要具备最基本的Python编程能力。

2022年年底ChatGPT的横空出世、2024年2月发布的火爆全球的Sora以及2024年5月ChatGPT 4.0的发布，标志着人类已经步入智能化时代，给人类经验的所有领域带来冲击和变革。冲击和变革最终将发生在人类理解世界的方式上，以及人类在世界中扮演的角色上。人类过去从来没有受到如此巨大的威胁，甚至担心将被自己创造的力量操控。全世界的产业结构和产业生态都有可能面临重塑，人类社会将面临颠覆性变革。人们可以预见的趋势包括可约定的事、相对稳定的事、能标准化的事，都会被AI替代。
这强大的智能化使得未来教育面临巨大的冲击和挑战，教育已成为智能化时代背景下变革的核心。党的二十大强调要推动人工智能和教育深度融合，促进教育变革创新。AI将在什么样的广度和深度上影响教育？未来的教育将是什么样的？教育工作者将如何迎接挑战、适应变革?这些都是当下需要重点关注和研究的课题。
前部长陈宝生在《ChatGPT: 教育的未来和未来的教育》一文中认为未来教育因为强大的智能化将面临巨大冲击，未来教育要坚定对人之为人的本质规律认识，未来教育要解答智能化给人类带来的时代之问；教育是传道的，各种学科都是讲道的，讲的都是自然演进的道，是社会发展的道，是工具理性的道，是文化传承的道。无论时代如何变迁，技术如何发展，人类的教育教学之道是横亘不变的。那么，教育教学之道又是什么呢？
为学日益，为道日损。损之又损，以至于无为，无为而无不为。（《道德经》第四十八章）。老子认为学习是积累知识、提升自我的过程；而修道则是净化心灵、回归本真的过程。通过不断的学习和修道，人们可以逐渐提升自己的境界和能力，达到无为而无不为的高度。在智能化时代，人类更应该顺应自然、洞察先机，从而在行事中表现出高度的智慧和效能。于教育学科而言，真正的有效教育既非灌输浩如烟海的知识，也非追求教学手段的形式创新，而是在抽丝剥茧后回归人类学习的自然之道，即学习的本质是解决问题，这里的问题包括科学、社会、个人心性成长和生活工作中的各种问题。
钱学森之问还没有得到有效回答，我国大学生仍然普遍缺乏解决问题的能力和创新能力，其症结就在于普通教育阶段延续至大学，在学生大脑中形成的知识逻辑认知模式。这种认知模式，使得学生更关注以成绩为表征的知识积累，忽略了人类学习的本质是为了解决问题。学生所掌握的大部分知识仅仅停留在书本和卷面上，是概念、公式、原理、案例或道理。知识不一定能给我们带来认知能力，而认知能力必然包含有效的知识，这部分有效的知识能帮助我们判断、选择、行动、改变和解决问题。在智能化时代下，当几千年积累的知识已经被大模型记住的时候，人类最需要改变的就是对知识的渴望与崇拜，更应该去提升洞察世界的思维、智慧和能力。
教育面向大众，传统教育的重心是让更多的人能够获得知识，有能力去解决日常问题，只有少数人能够参与创新与创造，即传统教育目标的重心是知识能力。然而，大数据、元宇宙、AI等新技术的发展，特别是GPT系列模型、讯飞星火、通义千问、文心一言等大语言模型的问世，使人类进入了知识贬值、创新升值的时代。人类对于事实性、概念性和程序性知识的获取越来越容易，对于已有问题也能快速得到求解方法。面对新技术和AI的发展对教育带来的巨大挑战，教育目标必须发生改变，才能不落后于时代的发展。当几乎所有人都可以很容易获得知识的时候，教育目标的重心就自然向更高层偏移，即向能力认知偏移，改变和提升认知以实现创新将成为智能化时代教育的主要目标。
本书是基于上述对智能化时代教育目标的认知编写的新形态教材。智能化时代下的教育，创新是主题。作者研究了传统的以知识传递为主要教学目标的教学过程，提出了传统教学构建的是学生的知识逻辑认知模式，由于直接告诉结果，存在缺少知识联系生活、理论联系实际的先天缺陷，很难培养出学生的应用之道，更不用说创新之道。高等教育要培养能够探索未知、解决问题的创新性人才。从脑科学的视角出发，就必须要将某种不同于传统的模型植入学生最深层的大脑中，使之成为学生认识世界、探索未知的一种认知模式，我们将其命名为问题逻辑认知模式。这种认知模式包括如何应用已有知识、如何探索解决问题的实践性知识以及如何发现新知识等综合能力，而它的形成必须通过大量问题导向的训练才可以获得。因此，提出了基于问题逻辑认知模式的成果导向教育（Outcome Based Education of Problem Oriented Thinking，POTOBE），通过为解决问题和探索未知而进行的一系列学习活动，在构建学生问题逻辑认知模式的过程中，使他们逐步具备能够探索未知、解决问题的能力和创新能力，有能力去应对智能化时代的各种挑战。
智能化时代的最大特点是学科融合，将新技术与传统学科融合，从新的视角发现和解决各领域中的问题，AI和大数据等新技术的运用已经成为人才的标配。虽然四新专业已经提出了很多年，但无论教师还是学生都没有充分做好准备，我国很多高校仍然存在这类课程教师开课难和学生学习难的问题。因此，作者特地编写了两本满足此类需求的通识基础教材，《Python程序设计基础思维、认知和创新》和《数据分析入门思维、认知与创新》，并同步建设了两门课程，为读者在智能化时代步入应用新技术解决问题和创新的大门提供必要的敲门砖，做好能力和认知的准备，构建起创新与AI之桥。
两本教材的统一特色如下:
(1) 迎接AI挑战。聚焦智能化时代下解决问题、探索未知、创新思维的认知模式养成。
(2) 非系统的学科知识的积累逻辑。基于POTOBE教育理念，聚焦探索的全过程，通过从发现问题到求解问题全过程的探索路径，不但完成问题的求解，还学习、掌握并能运用知识和方法。
(3) 对教师、学生和AI进行了角色定位。
● 教师是编剧和导演，确定教学目标、教学内容和教学方式；
● 学生是主演，围绕创新性地发现和解决问题进行自主学习；
● AI工具是剧务，始终陪伴师生并随时提供帮助。帮助学生养成在AI工具陪伴下学习、解决问题并进行创新的习惯。
(4) 教材与课程同步: 同步建设了课程及教材以外的资源，满足当下高校对课程及教材的需要:
● 教师容易开课。理念创新、资源完整、思维升级、聚焦引领、两性一度。
● 学生容易学习。问题驱动、平台支撑、认知觉醒、聚焦能力、内化创新。
本书围绕探索完成易于学生理解的两个数据分析任务进行: 第一个任务是聚焦描述性数据分析的案例数据分析师岗位情况分析；第二个任务是综合数据分析案例气候变化对生物多样性的影响分析。读者参与共同完成两个数据分析任务的探索之旅，在探索完成案例任务时，通过对一个个子任务提出需要解决的问题、探索问题本质、学习解决问题的方法、对问题进行实际求解、对求解情况进行评价和反思5个环节（5E教学范式），使读者始终浸润在为解决问题而进行学习和探索的氛围中，构建读者基于问题探索的思维和认知，并为未来深入学习和使用数据分析、解决问题打下基础。
本书共分10章，具体内容如下:
第1章介绍理念、目标与要完成的任务，使读者了解数据分析的基本步骤和方法，初步具有应用AI工具辅助学习和工作的意识。
第2章了解在数据分析中如何明确分析目的，完成数据分析师岗位情况分析案例的第一步明确分析目的、提升批判性地使用AI工具的意识。
第3章了解在数据分析之前如何进行数据预处理，完成数据分析师岗位情况分析案例的第二步数据预处理。
第4章明确描述性数据分析要做什么以及怎么做，并完成数据分析师岗位情况分析案例的第三步描述性数据分析与数据可视化。
第5章通过分析气候变化对生物多样性的影响分析案例的分析目的，进一步掌握明确分析目的的方法，完成气候变化对生物多样性的影响分析案例的第一步明确分析目的、采集分析数据。
第6章根据特征工程的思想对原始数据开展一系列的数据预处理工作，以提高数据的质量，完成气候变化对生物多样性的影响分析案例的第二步预处理数据。
第7章明确探索性数据分析要做什么以及怎么做，完成气候变化对生物多样性的影响分析案例的第三步探索数据相关性与分布情况。
第8章了解和初步掌握常用的几种机器学习模型及其构建方法，完成气候变化对生物多样性的影响分析案例的第四步预测性分析。
第9章了解和初步掌握一种时间序列预测模型及其构建方法，完成气候变化对生物多样性的影响分析案例的第五步指导性分析。
第10章了解和初步掌握根据数据分析结果撰写数据分析报告的基本方法，完成气候变化对生物多样性的影响分析案例的第六步撰写数据分析报告。
同步建设的课程在南开大学已经面向工商和经管类学生进行了一个学期的教学实践。在教学过程中，直接使用了有统一的编程环境、计算资源和支撑教学管理的和鲸（ModelWhale)平台，将学生从安装Python环境和资源包的工作中抽离出来，聚焦解决问题思维和能力的训练。选课学生普遍认为: 课程使他们形成了一种不同以往的思维方式，提升了解决实际问题能力、团队协作能力和表达能力；他们切身感觉到知识不只是应对考试，更是解决生活中难题的钥匙；课程的教学过程让他们能够更清晰、更有逻辑地思考问题，追本溯源，不再被复杂的现象所迷惑。
本书作者来自南开大学计算机学院，赵宏教授和闫晓玉老师编写了全书的初稿；李妍老师对全书进行了文字校对；高裴裴副教授和李妍老师负责书中二维码虚拟人教学视频的录制；闫晓玉老师对全书代码进行了测试和验证；助教张括和研究生董吉旺参与了部分问题的设计和代码初稿的编写并制作了PPT初稿；赵宏教授对全书进行了系统编撰和统稿。本书还得到了清华大学出版社张瑞庆编审的大力支持，在此表示真诚感谢。
面对AI对教育、教学和课堂的冲击和挑战，积极拥抱AI，主动寻变是本书的宗旨。由于作者对AI背景下教育教学问题的认识和把握还存在偏差，加之自身能力的限制，书中会有不足甚至错误之处，请读者指正。

作者2024年5月于南开园

第1章目标与任务1
1.1数据时代与当代社会1
1.1.1从互联网迈向数据要素1
1.1.2数据与数据驱动2
1.1.3数据分析的应用场景2
1.2数据分析的主要步骤及方法4
1.2.1数据分析的主要步骤4
1.2.2数据分析的主要方法5
1.3利用AI工具辅助数据分析的学习与应用6
1.3.1使用AI工具示例6
1.3.2关于AI的思考9
1.4新文科与数据分析11
1.4.1新技术催生新文科11
1.4.2计算思维与数据思维12
1.4.3适合新文科的数据分析工具Python14
1.4.4Python的编程环境15
1.5问题逻辑认知模式及基于问题逻辑认知模式的成果导向教育22
1.5.1人脑及人的认知过程22
1.5.2知识逻辑认知模式与问题逻辑认知模式24
1.5.3基于问题逻辑认知模式的成果导向教育26
1.6本书的使命29
1.7动手做一做29
第2章数据分析师岗位情况分析提出问题、明确分析目的30
2.1Excitation提出问题30
2.1.1背景30
2.1.2AI助学31
2.1.3提出问题31
2.2Exploration探索问题本质32
2.2.1探索问题本质找准靶心32
2.2.2AI助学32
2.2.3关于数据来源33
2.2.4明确目标要完成的任务34
2.3Enhancement拓展求解问题的知识和能力34
2.3.1如何获取外部数据34
2.3.2如何正确地定义问题39
2.3.3如何明确具体需求40
2.3.4如何合理地分解问题41
2.3.5如何抓住关键的问题42
2.4Execution实际动手解决问题43
2.4.1获取分析数据43
2.4.2正确定义问题44
2.4.3明确具体需求44
2.4.4合理地分解问题45
2.4.5抓住关键的问题46
2.5Evaluation评价与反思46
2.6动手做一做47
第3章数据分析师岗位情况分析数据预处理49
3.1Excitation提出问题49
3.2Exploration探索问题本质51
3.2.1AI助学51
3.2.2探索问题本质找准靶心52
3.3Enhancement拓展求解问题的知识和能力53
3.3.1选择数据预处理工具53
3.3.2Pandas基础54
3.3.3用Pandas进行数据清洗59
3.3.4用Pandas进行数据筛选70
3.3.5用Pandas进行数据转换72
3.4Execution实际动手解决问题73
3.4.1读入数据集文件74
3.4.2数据清洗和特征选择74
3.4.3数据转换77
3.4.4将数据预处理结果保存到文件80
3.4.5数据预处理的完整代码80
3.5Evaluation评价与反思82
3.6动手做一做82
第4章数据分析师岗位情况分析描述性数据分析与数据可视化83
4.1Excitation提出问题83
4.2Exploration探索问题本质83
4.3Enhancement拓展求解问题的知识和能力84
4.3.1AI助学84
4.3.2使用Pandas查看基本统计信息87
4.3.3数据可视化基本方法90
4.4Execution实际动手解决问题102
4.4.1了解数据集的基本统计信息102
4.4.2数据可视化分析103
4.5Evaluation评价与反思113
4.6动手做一做113
第5章气候变化对生物多样性的影响分析明确分析目的、采集分析数据114
5.1Excitation提出问题114
5.2Exploration探寻问题本质115
5.3Enhancement拓展求解问题的知识和能力115
5.3.1AI助学115
5.3.2如何撰写数据说明文档117
5.4Execution实际动手解决问题118
5.4.1正确定义问题118
5.4.2获取分析数据119
5.4.3明确具体需求128
5.4.4合理地分解问题128
5.4.5抓住关键的问题129
5.5Evaluation评价与反思129
5.6动手做一做130
第6章气候变化对生物多样性的影响分析提高数据质量、预处理数据131
6.1Excitation提出问题131
6.1.1查看年度地表温度变化数据131
6.1.2查看世界月度二氧化碳浓度变化数据133
6.1.3查看平均海平面高度变化数据134
6.1.4查看濒危物种数量变化数据135
6.2Exploration探寻问题本质136
6.2.1数据预处理与特征工程136
6.2.2对数据预处理任务进行梳理137
6.2.3数据表的合并137
6.3Enhancement拓展求解问题的知识和能力138
6.3.1使用Pandas进行数据转换138
6.3.2使用Pandas进行特征提取143
6.3.3使用Pandas进行特征转换144
6.3.4使用Pandas进行数据表合并147
6.4Execution实际动手解决问题150
6.4.1年度地表温度变化数据预处理151
6.4.2世界大气二氧化碳浓度数据处理155
6.4.3平均海平面高度变化数据处理160
6.4.4濒危物种数量变化数据处理163
6.4.5数据合并166
6.5Evaluation评价与反思168
6.5.1评价168
6.5.2反思169
6.6动手做一做170
第7章气候变化对生物多样性的影响分析探索数据相关性与分布情况171
7.1Excitation提出问题171
7.2Exploration探寻问题本质171
7.2.1AI助学172
7.2.2探索问题本质173
7.3Enhancement拓展求解问题的知识和能力174
7.3.1AI助学特征相关性分析174
7.3.2进行相关性分析的方法175
7.3.3数据可视化变量间的相关性180
7.3.4利用聚类方法观察数据的分布189
7.4Execution实际动手解决问题195
7.4.1探查数据结构与基本的统计信息195
7.4.2探索数据的相关性196
7.4.3探索数据的变化趋势199
7.4.4探索数据的分布情况202
7.5Evaluation评价与反思205
7.6动手做一做206
第8章气候变化对生物多样性的影响分析预测性分析207
8.1Excitation提出问题207
8.2Exploration探寻问题本质207
8.3Enhancement拓展求解问题的知识和能力208
8.3.1AI助学了解常用的机器学习模型208
8.3.2基本概念和术语209
8.3.3构建机器学习模型的基本步骤210
8.3.4使用Python对数据集进行划分211
8.3.5常用评价模型的指标213
8.3.6常用的几种机器学习模型建模214
8.3.7寻找最佳模型参数224
8.3.8模型预测效果可视化226
8.3.9度量特征的重要性228
8.4Execution实际动手解决问题230
8.4.1模型选择230
8.4.2使用最佳模型进行预测233
8.4.3特征重要性度量235
8.4.4构建随机森林预测模型236
8.4.5随机森林模型预测效果可视化237
8.5Evaluation评价与反思239
8.6动手做一做242
第9章气候变化对生物多样性的影响分析指导性分析243
9.1Excitation提出问题243
9.2Exploration探寻问题本质243
9.3Enhancement拓展求解问题的知识和能力245
9.3.1AI助学了解常用的时间序列预测模型245
9.3.2ARIMA模型基本原理245
9.3.3ARIMA模型建模步骤246
9.3.4使用Python实现ARIMA模型的构建247
9.4Execution实际动手解决问题253
9.4.1分析数据的采集253
9.4.2相关性分析254
9.4.3构建ARIMA模型预测未来二氧化碳的排放趋势256
9.5Evaluation评价与反思260
9.6动手做一做261
第10章气候变化对生物多样性的影响分析撰写数据分析报告262
10.1Excitation提出问题262
10.2Exploration探寻问题本质262
10.3Enhancement拓展求解问题的知识和能力263
10.3.1AI助学数据分析报告的基本结构263
10.3.2AI助学生成数据分析报告的封面图片264
10.4Execution实际动手解决问题265
10.4.1封面与目录265
10.4.2前言265
10.4.3数据收集和描述266
10.4.4数据分析结果270
10.4.5结论与建议274
10.5Evaluation评价与反思275
10.6动手做一做275

我要评论