公司名称：上海天元数据分析事务所有限公司

上海天元项目数据分析师事务所有限公司

地址：上海市徐汇区天钥桥路329号B栋9楼

王经理：021-24193019

邮箱：2860763820@qq.com

无论是采集数据，还是存储数据，都不是大数据平台的*终目标。失

去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。

数据处理是大数据产业的核心路径，然后再加上*后一公里的数据可视

化，整个链条就算彻底走通了。
剖析大数据平台的数据处理
无论是采集数据，还是存储数据，都不是大数据平台的*终目标。失去

数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数

据处理是大数据产业的核心路径，然后再加上*后一公里的数据可视化

，整个链条就算彻底走通了。

如下图所示，我们可以从业务、技术与编程模型三个不同的视角对数据

处理进行归类：

剖析大数据平台的数据处理-1

业务角度的分类与具体的业务场景有关，但*终会制约技术的选型，尤

其是数据存储的选型。例如，针对查询检索中的全文本搜索，

ElasticSearch会是*佳的选择，而针对统计分析，则因为统计分析涉及

到的运算，可能都是针对一列数据，例如针对销量进行求和运算，就是

针对销量这一整列的数据，此时，选择列式存储结构可能更加适宜。

在技术角度的分类中，严格地讲，SQL方式并不能分为单独的一类，它其

实可以看做是对API的封装，通过SQL这种DSL来包装具体的处理技术，从

而降低数据处理脚本的迁移成本。毕竟，多数企业内部的数据处理系统

，在进入大数据时代之前，大多以SQL形式来访问存储的数据。大体上，

SQL是针对MapReduce的包装，例如Hive、Impala或者Spark SQL。

Streaming流处理可以实时地接收由上游源源不断传来的数据，然后以某

个细小的时间窗口为单位对这个过程中的数据进行处理。消费的上游数

据可以是通过网络传递过来的字节流、从HDFS读取的数据流，又或者是

消息队列传来的消息流。通常，它对应的就是编程模型中的实时编程模

型。

机器学习与深度学习都属于深度分析的范畴。随着Google的AlphaGo以及

TensorFlow框架的开源，深度学习变成了一门显学。我了解不多，这里

就不露怯了。机器学习与常见的数据分析稍有不同，通常需要多个阶段

经历多次迭代才能得到满意的结果。下图是深度分析的架构图：

剖析大数据平台的数据处理-2

针对存储的数据，需要采集数据样本并进行特征提取，然