Image may be NSFW.
Clik here to view.
笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapReduce Job 做 ETL ，用 Hive 做 Ad hocquery，用 Tableau 做数据可视化，用 R 做数据分析）。今天我想借此机会和大家聊聊我所理解的大数据现状和未来。
首先让我们来聊聊什么是大数据。大数据这个概念已经出来很多年了（超过10年），但一直没有一个准确的定义（也许也并不需要）。数据工程师（DataEngineer）对大数据的理解会更多从技术和系统的角度去理解，而数据分析人员（Data Analyst）对大数据理解会从产品的角度去理解，所以数据工程师（Data Engineer) 和数据分析人员（Data Analyst）所理解的大数据肯定是有差异的。我所理解的大数据是这样的，大数据不是单一的一种技术或者产品，它是所有与数据相关的综合学科。看大数据我会从 2 个维度来看，一个是数据流的维度（下图的水平轴），另外一个是技术栈的维度（下图的纵轴）。
Image may be NSFW.
Clik here to view.
其实我一直不太喜欢张口闭口讲“大数据”，我更喜欢说“数据”。因为大数据的本质在于“数据”，而不是“大”。由于媒体一直重点宣扬大数据的“大”，所以有时候我们往往会忽然大数据的本质在“数据”，而不是“大”，“大”只是你看到的表相，本质还是数据自身。
