2019-05-11 StreamNative-Meetup-BJ Pulsar-Functions

下载 33

StreamNative

发布于

7327

人观看

#信息技术

Apache Pulsar 是云原生新一代的消息系统和实时处理平台，消息系统和实时计算平台关系紧密，但经常被分离地松散地部署和管理，Functions 作为 Pulsar 的计算组件，是消息和计算平台在 Serverless 方向的一个融合和创新。 Functions 提供了 Java/Python/Go 等多语言的支持，以及线程/进程/K8s runtime 等，这为用户编写、运行和部署 Functions 提供了良好的灵活性，并让用户只需关心真正计算的逻辑，无需复杂的配置或管理，因此能更便捷地构建基于消息触发的流平台。

展开查看详情

1 .深⼊入理理解 Pulsar Functions A lightweight compute framework for Pulsar 2019/05/11 冉⼩小⻰龙

2 . ⽬目录 • Pulsar Function 介绍 • Pulsar Function 使⽤用场景 • Java、 Python、 Go Function 的部署以及使⽤用 • Pulsar Function Debug • Pulsar Function 语义介绍 • Pulsar Function runtime • Pulsar Function worker • Pulsar Function 的未来（组合 Function）

3 .Apache Pulsar

4 .计算架构的演进

5 .

6 .

7 .

8 .Why Pulsar Functions? • 部署简单 • Simple standalone applications vs system managed applications • 接⼝口简单 • Method/Procedure/Function • Multi Language API • Scale developers • 流原⽣生 • Input/Output/Log as topics

9 . Pulsar Function 架构(⼀一) • Source • DB • Mysql • Pg • Mongo • Log • Flume • Log stash • Beats • MQ • Sink • Hive • ES • MQ • DB • Function

10 . Pulsar Function 架构（⼆二） y = f (x)

11 . Pulsar Function 执⾏行行流程 Setup producer 1 Setup consumer Setup LogHandler 2 Handler Message Process Result 3 Close Resource

12 . Pulsar Function 使⽤用场景 • ETL • Data Enrichment • Data Filtering • Dynamic Routing • Alerts and Threholds

13 .Pulsar Function Context

14 .Dynamic Routing

15 .Dynamic Routing

16 .Message Filtering

17 .Message Filtering

18 .Transformation

19 . Transformation Projection

20 . Transformation Split

21 . Transformation Split

22 .Data Enrichment

23 .Alert and Thresholds

24 .Alert and Thresholds

25 . Pulsar Function SDK • Java Function • Python Function • Go Function • So on

26 .How does Pulsar Functions work? • LocalRun mode • 适合开发者 • Cluster mode • 适合于⽣生产环境

27 .Pulsar Function CLI

28 . Java Function Example（⼀一） Demo： Start：

29 . Python Function Example Demo： Start：

1点赞

1收藏

33下载