Serving Engine as a Service at Yahoo! JAPAN #SolrJP

>100 Views

July 20, 18

#solrjp #ABYSS2 #Solr Cloud #検索プラットフォーム #マイクロサービス #大規模システム

スライド概要

第21回 Lucene/Solr勉強会 https://solr.doorkeeper.jp/events/75586 発表資料

profile-image
スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
user-img Yahoo!デベロッパーネットワーク 159.9K
slide-thumbnail

ゼロから始める転移学習
user-img Yahoo!デベロッパーネットワーク 85.4K
slide-thumbnail

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon
idcon fidcon
user-img Yahoo!デベロッパーネットワーク 72.6K
slide-thumbnail

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo
openid openid_tokyo
user-img Yahoo!デベロッパーネットワーク 57.4K
slide-thumbnail

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤
devsumi
user-img Yahoo!デベロッパーネットワーク 34.8K
slide-thumbnail

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes
ml_kubernetes
user-img Yahoo!デベロッパーネットワーク 28.9K
各ページのテキスト
1.

Serving Engine as a Service at Yahoo! JAPAN 2018年7月20日 Masakazu Nagaya Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

2.

ABYSS2のご紹介 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

3.

ABYSS2は検索に特化した社内プラットフォーム 2014年に稼働した第2世代 SolrCould as a Service ユーザーはWebUIから作成/削除 小中規模のユーザーがメインターゲット PS. 大規模は伝統的にVespaの採用が多い Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 3

4.

社内有数のプロダクトへ成長 リクエスト数 35,000req/sec以上 コレクション数 500以上 Solrの台数 4,000以上 チーム 運用1.5名, 次世代開発2.5名 PS. 1日平均10VMは落ちるので復旧作業を自動化 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 4

5.

インフラは社内のOpenstackを利用 CentOS6/OracleJDK1.8 構成は松竹梅を用意 - 4vCPU/6144M - 12vCPU/12288M - XeonD-1541/32768M シャード数/レプリカ数で調整 PS. 負荷試験を義務づけており測定結果で決める Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 5

6.

「アンバサダー パターン」っぽいシステム構成 各サービス FE/API/Internal CDN LB (L3DSR) Proxy Solr Cloud Control API / Admin UI Solr Cloud Control API / Admin UI Service Discovery LB (L3DSR) Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. Proxy 運用者 6

7.

Solrのサポートバージョンは3つを上限に設定 5.5.4/6.4.2/7.3.1(検証中) セキュリティパッチは都度対応 PS. 移行作業は新旧の平行稼働後に切替が一般的 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 7

8.

Solrやプラグインで機能を独自に拡張 ランキングプラグイン (昨年の話) 日本語形態素解析 (WebMA) Boost Term (キーワードスコア) 更新処理のGZipサポート (SOLR-7925) など PS. ニーズがありますか？ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 8

9.

想定ユーザはあくまでも検索サービスに設定 非推奨な利用によるビジネスの成長を保証しない - データベース/NOSQL/OLAPでの利用 - データの堅牢性とトランザクション - スケーラビリティの確保 - 大量の件数取得 - ディープページング - ワイルドカード - 大量OR検索 PS. ビジネス成長と計算能力の進化どちらが速い？ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 9

10.

マイクロサービスへの取り組み (実施中) メトリックス - Prometheus + Grafana ログダッシュボード - ELK Stack (vs Splunk) 分散トレーシング - 検討中 (Instana vs Zipkin・・) 認証 - 検討中 (Athenz) PS. 世の中のトレンドに応じてベストな選択を行う Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 10

11.

jemallocによる性能改善 (実施中) スレッドのアプリの高速化の定番手法 tcmalloc や vespa_malloc もある 3-10%程度の高速化を期待 PS. LD_PRELOADでシンボルを乗っ取る系 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 11

12.

まとめ Apache Solrは、Yahoo! JAPANの多く サービスの要求を満たすことが可能 ABYSS2は、プラットフォーム化により Solrの運用コスト削減とエコシステムを提供 開発/運用のノウハウの共有はとても大切 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved. 12

13.

EOF Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.