????本月看点速览

• 产品动态

  • Apache Pulsar 2.5.0 发布

  • Pulsarctl 0.3.0 发布

  • 新增 PIP

• 社区动态

  • 海内外社区动态

  • 技术干货

---

>>> 产品动态 <<<

>> Apache Pulsar 2.5.0 发布

Apache Pulsar 2.5.0 已经发布，该版本增加了许多新的特性并且在 broker 端修复了一些问题。以下是发布在 2.5.0 中的一些特性以及修复。

????‍♂️新增功能

在 2.5.0 中，PIP-38，PIP-41，PIP-43，PIP-44，PIP-45，PIP-52 已经实现。以下是新增 PIP 的详细内容。

PIP-38: Support batch receive in Java client

一些用户为了提高吞吐，在 Pulsar 中开启了 Batch 的功能。但是 Pulsar 目前只支持接受一条消息，如果用户需要对一批消息进行操作，他们需要自己维护一个集合。在 2.5.0 中，Pulsar 增加了对批消息接受的处理。

详情参考：

• PIP-38
  https://github.com/apache/pulsar/wiki/PIP-38%3A-Batch-Receiving-Messages

• PR-4621
  https://github.com/apache/pulsar/pull/4621

PIP-41: Introduce protocol handler API

为了更好的兼容其他消息协议，例如：Kafka、AMQP 和 MQTT 等。Pulsar 通过将协议层插件化，使得 Pulsar 兼容其他消息协议更简单。

详情参考：

• PIP-41
  https://github.com/apache/pulsar/wiki/PIP-41%3A-Pluggable-Protocol-Handler

• PR-5130
  https://github.com/apache/pulsar/pull/5130

PIP-43: Producer send messages with different schema

当前，Producer 只能发送一种 Schema 的消息，这个 Schema 可在创建 producer 时指定，也可以通过指定 AUTO_PRODUCE_BYTES 由 producer 从 broker 主动获取。

然而一个 topic 的 Schema 可在 producer 启动后改变，从而导致 producer 发送消息失败。同时，在从 Kafka 向 Pulsar 复制消息的场景下，一个 producer 可能需要从一个 Kafka partition 复制多种 Schema 数据到一个 Pulsar partition 中，以保障消息的顺序。

PIP-43 提出了创建新 message 的接口，允许在创建 message 时指定 Schema。

TypedMessageBuilder<T> newMessage(Schema<T> schema);

详情参考：

• PIP-43
  https://github.com/apache/pulsar/wiki/PIP-43%3A-producer-send-message-with-different-schema

• PR-5517
  https://github.com/apache/pulsar/pull/5517

PIP-44: Separate schema compatibility checker for producer and consumer

目前，Producer 和 Consumer 使用同一个 Schema 兼容检查，当使用多版本 Schema 进行生产和消费时，可能会导致 Producer 无法生产消息。

详情参考：

• PIP-44
  https://github.com/apache/pulsar/wiki/PIP-44%3A-Separate-schema-compatibility-checker-for-producer-and-consumer

• PR-5227
  https://github.com/apache/pulsar/pull/5227

PIP-45: Pluggable metadata interface

该方案提供一个统一的可插拔的接口，抽象出 Pulsar 的元数据实现。重构后，默认仍然基于 ZooKeeper 来存储元数据，并且元数据仍然以相同的格式保存在同样的位置。一旦定义了接口，我们就可以支持多个元数据存储的实现：

• ZooKeeper

• Etcd

• In-memory 基于内存的实现，用于测试

• Local disk 在单机模式下存储在本地磁盘上

详情参考：

• PIP-45
  https://github.com/apache/pulsar/wiki/PIP-45:-Pluggable-metadata-interface

• PR-5330
  https://github.com/apache/pulsar/pull/5330

PIP-52: Message dispatch throttling relative to publish-rate

根据消息发送的速率来调整消息分发的速度。避免生产者和消费者在与 broker 进行交互时，占用过多的网络资源，导致该 broker 中其它 topic 的消息投递速率受限。

详情参考：

• PIP-52
  https://github.com/apache/pulsar/wiki/PIP-52%3A-Message-dispatch-throttling-relative-to-publish-rate

• PR-5797
  https://github.com/apache/pulsar/pull/5797

????‍♂️新增改进或修复问题

在 2.5.0 版本中，改进和修复了 Broker、Proxy 和 Connectors 等中的问题，进一步丰富和完善了 Pulsar 作为一个云原生流数据平台的能力。

1. 在 2.5.0 中，Pulsar 将默认的 ZooKeeper 升级到 3.5.6 版本。

详情参考: PR-5043
https://github.com/apache/pulsar/pull/5043

2. 在 2.5.0 中，Pulsar 默认的 BookKeeper 升级到 4.10.0 版本。

详情参考: PR-5607
https://github.com/apache/pulsar/pull/5607

3. 修复了 Proxy 和 Broker 使用不同 CA 时，无法通过 Proxy 访问 Broker 的问题。

详情参考: PR-5971
https://github.com/apache/pulsar/pull/5971

4. 修复了在发送批消息时，使用相同序列 ID 会产生重复消息的问题。

详情参考: PR-5491
https://github.com/apache/pulsar/pull/5491

5. 增加了对 broker 与 bookie 之间 mTLS 的配置。

详情参考: PR-5042
https://github.com/apache/pulsar/pull/5042

6. 增加了一些 Connector

• PR-3784：增加了 Kinesis source connecto。

  https://github.com/apache/pulsar/pull/3784

• PR-5316：增加了 MongoDB source connector。

  https://github.com/apache/pulsar/pull/5316

• PR-5590：支持了 MongoDB CDC connector。

  https://github.com/apache/pulsar/pull/5590

更多关于 Pulsar 2.5.0 的新增功能、新增改进和修复问题等，请参考 2.5.0 版本说明。

https://pulsar.apache.org/release-notes/#2.5.0

>> Pulsarctl 0.3.0

Pulsar 0.3.0 已经发布，在这个新版本中，Pulsarctl 添加了对 Context、Token 以及 BookKeeper 的支持。

关于该版本的新增内容和改进，请参考：Pulsarctl-0.3.0。

https://github.com/streamnative/pulsarctl/releases/tag/v0.3.0

近期我们也会发布关于 Pulsarctl 0.3.0 的功能介绍。

>> 新增 PIP

PIP-55: Refresh Authentication Credentials

Pulsar 现有的认证方式是通过创建连接时进行验证并且检查，但如果客户端在连接后 Token 过期，需要强制把客户端进行重新连接。在 PIP-55 中增加了对失效 Token 的自动刷新检查。该功能已有 PR 推出，预计将在 2.6.0 发布。

详情参考：PIP-55
https://github.com/apache/pulsar/wiki/PIP-55%3A-Refresh-Authentication-Credentials

PIP-56: Python3 migration

Python 2.7 已经停止服务，所以我们需要用 Python 3 替换现有的 Python 2.7。

详情参考：PIP-56
https://github.com/apache/pulsar/wiki/PIP-56:-Python3-Migration

---

>>> 社区动态 <<<

>> Pulsar 社区需要你的参与哦

由于 1 月份代表着刚刚进入 2020 年，全球的小伙伴们还在忙着庆祝新年，所以需要大家进行参与的事情比较多哦。

1. Pulsar 年度报告

为了更全面地了解大家的想法，Pulsar 社区在 2020 年伊始发布了「Pulsar 用户调查」问卷，以了解在接下来的开发中，Pulsar 应如何更新和发展，来更贴切地满足用户的需求。

同时 Pulsar 社区会根据此调查结果，撰写出一份「Pulsar 年度报告」，届时将与大家一起分享。

此匿名调查问卷的截止时间是 2 月 9 日，所以如果你想表达自己对 Pulsar 的任何想法，欢迎来参与这项问卷调查。

点击链接进行填写即可：

https://forms.office.com/Pages/ResponsePage.aspx?id=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAZAAOjIXw9UMUNLRUdJMVJBS1RRNjVNNjMzR0JPTFpGWi4u

2. Pulsar Summit CFP 即将截止

首届 Pulsar Summit 将于 2020 年 4 月在旧金山举行。活动报名和嘉宾演讲也在开放中哦，如果你有好的用户案例或使用 Pulsar 的心得，可以申请演讲，申请日期截止到 2 月 14 日，欢迎各位大佬踊跃申请参与哦！

• 报名演讲
  https://pulsar-summit.org/call-for-presentations/

• 报名参会
  https://pulsar-summit.org/pre-registration/

3. KoP 调查问卷

2019 年，StreamNative 开创性地研发了 KoP（Kafka on Pulsar）。KoP 在 Pulsar 上原生支持 Kafka 协议，用户可以使用 Pulsar 作为底层基础设施，而无需修改基于 Kafka 的各种应用和服务。

今年，StreamNative 将继续大力推进 KoP 项目，将它打造成更契合用户需求的产品。诚邀感兴趣的用户参与关于 KoP 的问卷调查，只需 30 秒就可以哦。详情可点击????????关于 KoP，我们想了解更多。

问卷时间截止到 2 月 29 日哦，大家记得填。

>> Pulsar 海内外贡献者积极参与海内外布道

1. Pulsar 上榜 Hacker News

1 月 2 日，Pulsar 在 Hacker News 当天文章中排名第一。许多工程师讨论了“为什么选择 Pulsar 而不是 Kafka、RabbitMQ、Kinesis 或其他 MQ”、“Pulsar 的特性”等主题。

详情参考：
https://news.ycombinator.com/item?id=21936252

2. Pulsar 联合 IoTDB 举行 Meetup 

1 月 4 日 Apache IoTDB X Apache Pulsar Meetup 在北京举行 。来自 StreamNative 的翟佳分享了「Apache Pulsar——从消息系统到事件流平台」。此外，StreamNative 的工程师俄广宁也就「如何使用 Pulsar IO 将Apache Pulsar 连接到 IoTDB」主题进行了演讲。

详情参考：
Recap | 在清华，遇见 Apache Pulsar 和 Apache IoTDB

3. Meetup —— Kafka is no longer king for big data

1月15日，在多伦多举行了一次以「Kafka is no longer king for big data」为主题的 Meetup。Cory Darby 为大家分享了关于「RIP Apache Kafka, long live Apache Pulsar」的演讲，而另一个位分享人 Tamer 也给大家带来了关于 「Pulsar in Action, getting your hands dirty with Pulsar」的分享。

详情参考：
https://www.youtube.com/watch?time_continue=5&v=jLruEmh3ve0&feature=emb_logo

4. Data Exchange 播客中提及 Pulsar

来自 StreamNative 的郭斯杰 Data Exchange 播客中，发表了关于「How Apache Pulsar is able to handle both queuing and streaming, and both online and offline applications」的演讲。

详情参考：
https://thedataexchange.media/taking-messaging-and-data-ingestion-systems-to-the-next-level

5. Pulsar 社区持续成长

Pulsar 社区从成立之初就一直备受关注。目前 Pulsar 的GitHub 项目 star 数已超 5000！同时 Slack 频道用户数也已经到达 1500 人啦。感谢各位的支持与关注。

Pulsar GitHub 项目库：
https://github.com/apache/pulsar

---

>>> 技术干货 <<<

本月虽然发表的技术干货不多，但也有几篇供大家参考鸭。

• 怎么用 Pulsar ？举个栗子来看看

• From Apache Spark connector to Apache Pulsar basic concept
  https://www.waitingforcode.com/apache-pulsar/from-apache-spark-connector-to-apache-pulsar-basic-concepts/read

• Pulsar-express, a web interface for Apache Pulsar
  https://dev.to/bbonnin/pulsar-express-a-web-interface-for-apache-pulsar-1lm

---

以上就是 1 月份的脉动之旅。目前国内肺炎疫情趋势正猛，也希望小伙伴们都保护好身体，没事在家做做运动，提高一下自身免疫力。最后感谢大家一直以来的支持！

Apache Pulsar 社区鼓励大家积极参与开源社区，无论是文档、代码、翻译，还是技术博客，都欢迎大家积极参与，早日成为 Pulsar contributor，一起加油鸭。

如果你对 Pulsar Contribute 的流程不太熟练，也可以参考我们这篇小教程，让你熟悉如何通过 GitHub 对 Pulsar 进行贡献：新手向｜非技术人员如何参与 Pulsar 项目进行贡献。

参与贡献项目可选：

1. Apache Pulsar 项目：https://github.com/apache/pulsar

2. Pulsar 技术文档翻译：https://github.com/apache/pulsar-translation