Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1638

基于Flink构建用户实时基础行为工程

$
0
0

导读

Hi,小伙伴们!今天我给大家介绍下基于 Flink 构建用户实时基础行为工程的相关实践,包括 Flink 相关的技术点和基础行为实时工程的业务。

Flink 是目前 Qunar 主推的实时数据处理开源平台,用于替代 SparkStreaming。如果你们使用 Flink 也是和我们之前一样,不知道如何使用我们的 Flink 实时计算平台,或者不知道该怎样合理利用其 Features 去更好构建我们的工程,再或者你想了解每天处理超过12亿条实时数据,数据实时性达到秒级,QPS 可支持10万的用户实时基础行为工程的技术实现,你在后面应该能找到你的答案。

Flink简介

Apache Flink 是一个面向数据流处理和批量数据处理的分布式的开源计算框架,能够支持流处理和批处理两种应用类型。有着低延迟、Exactly-once 保证,而批处理需要支持高吞吐、高效处理的特点。

Flink 是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。这与 sparkstreaming 不同,sparkstreaming 是将流处理视为无限个有界的批处理(microbatch)。

1 Flink 特点

(1)有状态计算的 Exactly-once 语义。状态是指 flink 能够维护数据在时序上的聚类和聚合,同时它的 checkpoint 机制可以方便快速的做出失败重试;


Viewing all articles
Browse latest Browse all 1638

Trending Articles