Yahoo! JAPANでのVespaの活用事例 #yjmu

Yahoo! JAPANでのVespaの活用事例 Masakazu Nagaya Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Vespaとは

Vespaは現在進行形の「未来からやってきた謎兵器」である。 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Vespaはバーティカル検索のプラットフォーム • バーティカル検索は特定のトピックにフォーカスした専用の検索システム • 画像、動画、商品、店舗、地図、ニュース、不動産、ホテルなど • バーティカル検索のためのソフトウェア • Apache Solr, Elasticsearch, Vespa Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

VespaはYahoo! JAPANのバーティカル検索の大黒柱 • Vespa 画像 / 動画 / 知恵袋 / リアルタイム / ショッピング / ヤフオク! / お店 • Apache Solr ニュース / 登録サイト • その他 地図、辞書、レシピ、ウェブ その他：レコメンデーション、広告、メールなど Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Vespaは検索がビジネス成長の鍵となる時に選ばれる • 参照と更新のリクエスト量が多い • 膨大なデータ量 • 複雑なランキング • Latency Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

リアルタイム検索での利用事例

リアルタイム検索はVespaを利用 • データソース Twitter, Facebook and Instagram (日本語を対象) • ドキュメント 約13億件 • データの保持期間 1ヶ月 • サービス開始後の苦難 内製のソフトウェアからVespaへ移行 Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

課題は膨大なリクエスト数とデータ量 Web -> YJSM -> Cache -> QRS -> Vespa -> GW 3 clusters 300 servers per cluster Avg 1.3 billion documents Max 18,000 reads per second Avg 2,500 writes per second Feeder -> Kafka -> Storm -> GW Feeder -> Twitter, etc... Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Injecting componentsによる機能の拡張 • Searcher 検索パラメーターの処理 http://docs.vespa.ai/documentation/searcher-development.html • Result Renderers 検索結果のレスポンスを社内の標準にカスタマイズ http://docs.vespa.ai/documentation/result-rendering.html • Document Processors 特殊文字の変換処理 http://docs.vespa.ai/documentation/docproc-development.html • Linguistics 日本語の処理のために社内の形態素解析器を利用 http://docs.vespa.ai/documentation/linguistics.html Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

TechBlogのご紹介

The open big data serving engine : VESPAの紹介 https://techblog.yahoo.co.jp/oss/vespa_oss/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

インターンシップ生がVespaを使って検索システムを作ってみた話 https://techblog.yahoo.co.jp/infrastructure_1/vespa_ai/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

参考になるサイト

公式サイト http://vespa.ai/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

stackoverflow https://stackoverflow.com/questions/tagged/vespa Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

Vespaのアキーテクトだけど何か質問ある？ https://www.reddit.com/r/programming/comments/72r7uq/yahoo_open_sources_its_search_engine_vespa/ Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

まとめ

まとめ • Vespaはバーティカル検索のためのソフトウェア • Yahoo! JAPANのバーティカル検索の多くがVespaに支えられている • Vespaはオープンソースとしてサービスと共に今後も成長を続けていく Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.

One more thing...

kuromoji-linguisticsを公開しました https://github.com/ yahoojapan/vespa-kuromoji- linguistics Copyright (C) 2018 Yahoo Japan Corporation. All Rights Reserved.