第4章 大数据处理与数据中台
来源：书内印刷页 57–69；OCR PDF 页序约 68–80。
-
本章解决的问题
大数据如何定义和创造价值？数据清洗、标注、挖掘及数据中台如何构成数据处理与复用链条？ -
本章的核心结论
大数据价值依赖数据处理和应用能力。清洗与标注提高数据可用性，数据挖掘从数据中识别模式或完成任务，数据中台则试图沉淀、治理和复用数据能力，支持不同业务协同。任何环节的数据质量和管理缺陷都会传递到分析结果与业务决策。 -
关键概念
- 大数据：本章从多种定义和技术角度讨论规模大、类型多或处理要求高的数据及其价值。
- 数据清洗：识别和处理缺失、重复、格式不一致或异常数据。
- 数据标注：为样本添加类别、目标或其他解释性标签。
- 数据挖掘：通过统计、算法等方法发现数据模式或完成预测、分类等任务。
- 数据中台：沉淀可共享的数据资源、标准和处理能力，为业务提供可复用的数据服务。
-
重要论据
- 大数据有多种定义维度，关键不仅是数据规模，也包括技术处理和价值实现。
- 数据清洗和标注是分析建模的重要前置工作，会影响样本及模型质量。
- 数据挖掘可承担不同任务，需由业务问题决定方法和结果解释。
- 数据中台的价值在于数据资产治理和能力复用；建设涉及数据标准、组织协同和业务场景，不是单纯搭建技术平台。
-
具体案例
- 本章围绕金融机构数据管理与业务复用说明数据中台的价值，强调将数据加工成可被不同业务使用的服务能力。
-
作者提出的方法
从业务需求出发，盘点数据来源和权属，完成清洗、标准化及必要标注，再开展挖掘分析；以数据中台沉淀公共能力并持续治理、验证数据服务效果。 -
可能的隐含假设
- 业务部门能够协调统一数据定义和使用标准。
- 数据具有合法来源且可在明确权限下共享复用。
- 集中治理和复用的收益足以覆盖数据平台建设与持续维护成本。
-
与其他章节的联系
本章为第2、3章人工智能应用提供数据基础，也支撑第6章量化分析、第7至9章金融服务及第12章案例的数据准备；数据治理同时关联第11章金融科技监管。 -
一句话总结
数据价值来自从治理、加工到应用的完整链条，数据中台的关键是业务可复用而非平台本身。 -
原文依据或页码
书内印刷页 57–69：4.1 大数据定义、4.2 清洗与标注、4.3 数据挖掘、4.4 数据中台。
自测：①数据清洗和标注分别解决什么问题？②数据中台如何区别于单纯的数据存储系统？