ユーザー情報格納基盤におけるApache Pulsarの利用事例

1.8K Views

October 05, 21

#Apache Pulsar #Message Queue #ユーザー情報基盤 #システム設計 #パフォーマンスチューニング

スライド概要

Apache Pulsar Meetup Japan #4
https://japan-pulsar-user-group.connpass.com/event/222026/

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 159.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.4K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

10.

Apache Pulsar 利⽤例更新情報のサードパーティーフィード機能要件・APIのPUTリクエスト成功時にフィード送信・アクセス権限を所持しているユーザーのみフィード受信可能・Pub-Subメッセージングモデル・管理ツール（UI）からの申請ごとにトピック作成・メッセージ送信失敗時は再送・メッセージロストなし・障害時のみメッセージ重複を許容・ユーザー毎にミリ秒単位までの順序性担保・LZ4によるデータ圧縮 ©2021 Yahoo Japan Corporation All rights reserved. 10

11.

12.

Apache Pulsar 利⽤例処理の流れ 1. 社内プロダクトがフィードの受信を申請 2. 申請をトリガーにK8s API, Pulsar Admin API を⽤いて 3rd party feed/Topicを⾃動⽣成 3. 社内プロダクトがRESTfulAPIでデータを書き込む 4. 書き込まれた情報を API Topic で別リージョン、同⼀リージョンにフィード 5. Hub Topic と 3rd party feed で社内プロダクト毎にフィードをフィルタリング 6. 社内プロダクト単位の専⽤のトピックにフィード結果を蓄積 7. 社内プロダクトが申請に応じたフィードを受け取る ©2021 Yahoo Japan Corporation All rights reserved. 12

13.

Apache Pulsar 利⽤例機能の実現⽅法 1. 利⽤申請をトリガーにk8s API, Pulsar Admin REST API を⽤いて 3rd Party Feed の設定と環境を⾃動構築 2. Pulsarのジオレプリケーションを⽤いて複数のリージョンに配置された社内プロダクトにフィードを送信 3. アクセス権限に応じたフィード内容のフィルタリングはFeedのProduce処理で実施 4. 順序性のズレはPulsarのKeySharedモードで軽減 ©2021 Yahoo Japan Corporation All rights reserved. 13

14.

15.

Message Queue の選定更新情報のサードパーティーフィード機能要件・APIのPUTリクエスト成功時にフィード送信・アクセス権限を所持しているユーザーのみフィード受信可能・Pub-Subメッセージングモデル・管理ツール（UI）からの申請ごとにトピック作成・メッセージ送信失敗時は再送・メッセージロストなし・障害時のみメッセージ重複を許容 Yahoo! Japan IDに紐づくユーザー情報を社内のプロダクトに提供している以上非常に重要な要件・ユーザー毎にミリ秒単位までの順序性担保・LZ4によるデータ圧縮 ©2021 Yahoo Japan Corporation All rights reserved. 15

16.

Message Queue の選定 Message Queue の⽐較背景 • 開発途中、3rdパーティーフィードのパフォーマンス性能が低かった ⇨ ボトルネック解消のためにMessage Queueの⾒直し選定のポイント • 順序性 • ロスト（k8s のローリングアップデート時など） • パフォーマンス（レイテンシー・スループット） • 運⽤・開発コスト ©2021 Yahoo Japan Corporation All rights reserved. 16

17.

Message Queue の選定⽐較結果の概要項⽬ Apache Pulsar NATS Streaming スループット ○ ◎ レイテンシ ○ ◎ 順序性 ○ ◎ 再送 ◎ ※未Ackのみ可冗⻑化ジオレプリケーション有りの構成・ Active/Standbyの構成運⽤コスト ○ 監視 ○ ○ ◎ 社内ツール適⽤可 △ Cluster構成 △ 復旧時にデータの消込が必要 △ Grafana/Prometheus ⾃作 Redisも最終候補まで上がっていたが、ロストの発生があったため評価比較の対象外とした 21/10/1追記：Apache Kafkaは、検証期間が短期間であり初期実装コストの高さから対象外とした ©2021 Yahoo Japan Corporation All rights reserved. 17

18.

19.

さいごに Apache Pulsar を選定する理由他の Message Queue にもそれぞれ特徴がある軽量、実装コスト、シンプルさパフォーマンスとなどなど…… 何を重要視するか︖が⼤切ロスト・再送・重複・順序性と ⇨ これらを全て満たす、わがままに応えてくれるのが運⽤コスト Apache Pulsar ©2021 Yahoo Japan Corporation All rights reserved. 19

20.

21.

補⾜検証時の結果（サマリ）正常系レイテンシ（Produce）比較 Apache Pulsar min max NATS Streaming avg min max avg 95th Percentile 5 38 8 3.00 8.95 3.87 99th Percentile 6 209 26 3.99 13.97 7.06 Average 4 9 5 1.95 2.76 2.18 ©2021 Yahoo Japan Corporation All rights reserved. 21

22.

補⾜検証時の結果（サマリ）正常系スループット（Produce）比較 Apache Pulsar min max NATS Streaming avg min max avg PUT 55 reqps 880 reqps 784 reqps 44 reqps 1.820K reqps 1.643K reqps all 55 reqps 880 reqps 784 reqps 44 reqps 1.820K reqps 1.643K reqps ©2021 Yahoo Japan Corporation All rights reserved. 22

23.