Pulsar+Flink Meetup

背景

Apache Pulsar是下一代的云原生流数据平台。历时两年，Apache Pulsar 从孵化到茁壮成长。18年9月成为顶级项目后，Apache Pulsar社区的伙伴们开始了硅谷以外的布道之旅，从此在中国社区开始了不平凡的历程。从18年10月北京Meetup为社区小伙伴讲解了Apache Pulsar的技术细节，Pulsar在生产线上的生产实践；到12月上海Meetup为大家介绍如何使用Pulsar打造实时数据Pipeline，解构Pulsar强大的生态组件 - Functions/IO, Schema 以及最新发布的Pulsar SQL。现在Apache Pulsar社区联合Apache Flink社区在杭州开启中国之旅第三站，这次的强强联合会带给大家什么惊喜呢？朋友们，来杭州一起探秘吧！

活动亮点：
1.Apache Pulsar 2.3.0特性解析
2.Apache Pulsar和Apache Flink 全球范围首次联合举办Meetup
3.Flink Forward演讲预览

议程安排

 13:00 - 13:30 ········· 活动签到
 13:30 - 14:00 ········· Introduction of Apache Plusar
 14:00 - 14:30 ········· Plusar2.3.0特性解析
 14:30 - 15:15 ········· 从3000万到60亿+:智联的Apache Plusar之路
 15:15 - 15:20 ········· Lightening Talk-Plusar Community
 15:20 - 15:40 ········· 中场休息
 15:40 - 16:40 ········· Elastic Batch Processing on Plusar and its tiered storage using Flink
 16:40 - 17:25 ········· Go in Apache Plusar
 17:25 - 17:55 ········· 会后交流
 17:55 - 18:00 ········· 合影

议题简介及嘉宾介绍

议题一：Apache Pulsar介绍及2.3特性解析

讲师：翟佳 | 郭斯杰 Apache Pulsar 和 Apache BookKeeper的PMC成员和Committer

Apache Pulsar是下一代分布式流数据平台。Apache Pulsar被yahoo开源并在2018年9月毕业成为Apache基金会的顶级项目，并逐渐从最初的一个消息系统演化成集消息、存储和函数式轻量化计算的流数据平台。今年2月下旬Apache Pulsar正式发布了的2.3.0版本。从消息系统模块的功能加强到轻量化计算模块可用性的提高，Apache Pulsar 2.3.0版本通过近500个commits，增加了一系列新的特性和功能。

本次分享先简单介绍下Apache Pulsar是什么，它的发展简史，然后重点介绍Apache Pulsar在2.3.0中加入的新的功能和Features，包括Pulsar functions in Kubernetes, 新的Pulsar IO Connecters，新的基于Token的认证方式，Python客户端中Schema的支持和状态存储API等。

议题二：从3000万到60亿+：智联的Apache Pulsar之路

讲师：李鹏辉 | 智联招聘平台架构组工程师, Pulsar Committer

智联在2018年初下定决心打造智联的事件中心。从最开始选型，到Pulsar落地生产，到现在60亿+消息量。智联围绕Apache Pulsar打造的事件中心开始在智联内部发挥了重要的作用。智联总结了线上实践经验和最佳实践方案。在不同场景中合理使用Pulsar以及各个场景需要注意的方方面面。

本次主要分享Pulsar在智联落地生产的经历和实践经验，以及围绕Pulsar进行数据平台开发的规划和展望。

议题三：Elastic Batch Processing on Pulsar and its tiered storage using Flink

讲师：赵开兴（纯庚）| 阿里巴巴 技术专家

批流融合是大数据计算的趋势。批流融合包含两个层面：计算和数据。Apache Flink是批流融合的通用大数据计算框架，它提供了批流统一的计算API和引擎。Apache Pulsar是云原生的分布式消息流数据平台，采用存储和计算分离，以及分片层级存储的架构。因为其分层分片存储的架构以及批流统一的数据抽象，为批流融合的弹性计算提供了很好的数据基石。Apache Flink和Apache Pulsar的结合可以很好地做到批流融合的大数据计算，也是业界广泛看好的一个方向。我们之前在一些分享中，主要从流的角度在探讨Pulsar和Flink的结合。在这次分享中，我们主要从批的角度来探讨Pulsar和Flink的结合，以及Flink如何使用Pulsar的层级存储进行计算。

演讲内容包含：

什么是Flink

主要特点 & 场景

Pulsar的分片存储和层级存储

Pulsar Flink Batch Connector - 集成和实现

下一步社区规划

议题四：Go in Apache Pulsar

讲师：冉小龙 | Go语言爱好者，开源爱好者, Apache Pulsar Contributor

Go语言的优势和Go社区的不断壮大，带动了对go client的大量需求，目前Apache Pulsar社区提供了基于cgo封装的pulsar-client-go，但是cgo本身存在如下问题：

1.我们在使用cgo进行封装的时候遇到诸多问题；

2.cgo本身性能上的问题以及难于debug，导致pulsar-client-go对go社区不够友好

以上两点促使我们基于原生的Go语言对pulsar-client-go进行封装。本次我要和大家分享我们在使用cgo进行封装pulsar-client-go时遇到的问题，如何对java client接口进行抽象，如何使用Go语言对pulsar-client-go进行再封装及项目的状态、规划和安排。

活动主办

主办：ApachePulsar；智联招聘

地址

浙江杭州 华星路96号互联网金融大厦6楼，摆渡星空