第6章:Data Science and Big Data
书内页码:71–104
本章要解决的问题
数据科学项目如何从业务问题走到可运行模型?大数据工具链和组织实践的关键点是什么?
核心结论
数据科学的起点是定义业务问题,而非先选算法。数据收集、准备、建模和实验构成迭代流程;模型的业务价值取决于数据质量、流程嵌入和持续验证。
五步流程
- 定义问题与成功标准;2. 收集相关数据;3. 清理、整理并准备数据;4. 建模;5. 实验、比较并迭代。
章节另讨论数据科学与 AI/机器学习的区别、大数据的含义、数据收集/处理/工作流工具,以及项目中的挑战和经验。流程图和技术栈细节应以原书图表核验。
学习方法与易错点
先把业务决策、目标变量、可用特征和约束说清楚,再评估模型;训练效果不等于上线收益。数据偏差、缺失、标签质量、部署条件及反馈循环都可能改变结果。不要把“大数据”误解成只要规模大就更准确。
限定与联系
本章的流程是通用项目框架,不保证每个问题都需要机器学习。第11–12章进一步讲模型类型与实践选择;第16–17章展示另类数据和借贷中的应用。
**原文依据:**书内页 71–104。