Yahoo! JAPANでのVespaの活用事例 #yjmu

202 Views

March 20, 18

スライド概要

https://yj-meetup.connpass.com/event/79031/

profile-image

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

Yahoo! JAPANでのVespaの活用事例 Masakazu Nagaya Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

2.

Vespaとは

3.

Vespaは現在進行形の「未来からやってきた謎兵器」である。 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

4.

Vespaはバーティカル検索のプラットフォーム • バーティカル検索は特定のトピックにフォーカスした専用の検索システム • 画像、動画、商品、店舗、地図、ニュース、不動産、ホテルなど • バーティカル検索のためのソフトウェア • Apache Solr, Elasticsearch, Vespa Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

5.

VespaはYahoo! JAPANのバーティカル検索の大黒柱 • Vespa 画像 / 動画 / 知恵袋 / リアルタイム / ショッピング / ヤフオク! / お店 • Apache Solr ニュース / 登録サイト • その他 地図、辞書、レシピ、ウェブ その他:レコメンデーション、広告、メールなど Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

6.

Vespaは検索がビジネス成長の鍵となる時に選ばれる • 参照と更新のリクエスト量が多い • 膨大なデータ量 • 複雑なランキング • Latency Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

7.

リアルタイム検索での利用事例

8.

リアルタイム検索はVespaを利用 • データソース Twitter, Facebook and Instagram (日本語を対象) • ドキュメント 約13億件 • データの保持期間 1ヶ月 • サービス開始後の苦難 内製のソフトウェアからVespaへ移行 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

9.

課題は膨大なリクエスト数とデータ量 Web -> YJSM -> Cache -> QRS -> Vespa -> GW 3 clusters 300 servers per cluster Avg 1.3 billion documents Max 18,000 reads per second Avg 2,500 writes per second Feeder -> Kafka -> Storm -> GW Feeder -> Twitter, etc... Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

10.

Injecting componentsによる機能の拡張 • Searcher 検索パラメーターの処理 http://docs.vespa.ai/documentation/searcher-development.html • Result Renderers 検索結果のレスポンスを社内の標準にカスタマイズ http://docs.vespa.ai/documentation/result-rendering.html • Document Processors 特殊文字の変換処理 http://docs.vespa.ai/documentation/docproc-development.html • Linguistics 日本語の処理のために社内の形態素解析器を利用 http://docs.vespa.ai/documentation/linguistics.html Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

11.

TechBlogのご紹介

12.

The open big data serving engine : VESPAの紹介 https://techblog.yahoo.co.jp/oss/vespa_oss/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

13.

インターンシップ生がVespaを使って検索システムを作ってみた話 https://techblog.yahoo.co.jp/infrastructure_1/vespa_ai/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

14.

参考になるサイト

15.

公式サイト http://vespa.ai/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

16.

stackoverflow https://stackoverflow.com/questions/tagged/vespa Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

17.

Vespaのアキーテクトだけど何か質問ある? https://www.reddit.com/r/programming/comments/72r7uq/yahoo_open_sources_its_search_engine_vespa/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

18.

まとめ

19.

まとめ • Vespaはバーティカル検索のためのソフトウェア • Yahoo! JAPANのバーティカル検索の多くがVespaに支えられている • Vespaはオープンソースとしてサービスと共に今後も成長を続けていく Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

20.

One more thing...

21.

kuromoji-linguisticsを公開しました https://github.com/ yahoojapan/vespa-kuromoji- linguistics Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.