Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1638

Hadoop迎来3.x时代,昔日大数据霸主如何应对云计算挑战?

$
0
0

自2006年诞生以来,Hadoop改变了企业对数据的存储、处理和分析的过程,形成了一个极其丰富的技术生态圈,并在经历了大数据技术高速发展之后,迎来了3.x的时代。本文将按照存储和计算两个方向,分别介绍Hadoop社区当前的热点话题及后续规划。本文整理自堵俊平、谭望达近日在Apache Hadoop技术社区中国Meetup上发表的演讲。

存储的三个演进方向

存储最主要是向三个方向演进:Scalability、Cloud、Machine Learning。

Scalability主要是指Hadoop的分布式文件系统HDFS仍然有提高扩展性的需求和空间,后面会详细展开讲。Cloud也是一个非常重要的方向,云上的对象存储甚至有取代HDFS成为云端大数据默认存储的趋势,所以HDFS如何与云端对象存储配合是一个重要的趋势。另一方面,随着机器学习AI的兴起,从数据存储的角度来看,这和传统大数据的存储方式很不一样,比如小的数据碎片会很多,这对HDFS带来了很多新场景和新挑战。

扩展性增强

先看Scalability的问题,我们先来回顾一下HDFS的架构。

image


Viewing all articles
Browse latest Browse all 1638

Trending Articles