Presto in Yahoo! JAPAN #yjdsnight
>100 Views
March 15, 17
スライド概要
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
関連スライド
各ページのテキスト
Presto in Y!J 2017年3月15日 岡田 幸大 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
自己紹介 • • • • 岡田幸大, #新卒2009 github: @yuokada Like: #golang #python よく使うY!のサービス: #ヤフオク Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
自己紹介 • 2009/07~2013/03 コメント機能 BE開発 • 2013/04~2016/09 Web ビーコン 運用・開発 • 2016/10~ Presto Cluster 構築・運用 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
アジェンダ • Yahoo! Japanのマルチビッグデータ • Prestoとは? - 事例紹介 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Y!J is Multi Big Data Company サービス数は100以上 メディア、コマース、金融・決済など、幅広くサービスを展開 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Y!J is Multi Big Data Company データのバラエティも100以上 検索キーワード、ビュー/クリック、コンテンツ、購買情報、など、 多様なデータを活用可能 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Y!J is Multi Big Data Company 月間 674億PV / 1日9,000万UB Smart Phone PC + その他 281億 PV 393億 PV FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 8
Y!J is Multi Big Data Company 7,000 nodes 150 PB Hadoop 800 2,000 1,500 DBs nodes nodes RDB Co p yrig ht © 2 0 1 7 NoSQL Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Object Storage
Y!J is Multi Big Data Company これらのマルチビッグデータを活かすには? 様々なPFにあるデータを インタラクティブに分析する必要がある Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Y!J is Multi Big Data Company そこで選んだのは、 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
What is Presto? • Facebook製OSS • 分散クエリエンジン • インタラクティブなクエリに 最適化されたアーキテクチャ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
What is Presto? Presto Users • Facebook • Netflix • Amazon • etc https://github.com/prestodb/presto/wiki/Presto-Users Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
What is Presto? source: https://prestodb.io/overview.html Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
What is Presto? ✅ Pros • コネクターを追加することで 多種多様なデータPFと接続出来る • データをメモリ上で処理するため クエリの実行が高速 • ANSI SQL サポート • UDF(ユーザー定義関数) サポート https://prestodb.io/docs/current/connector.html Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
What is Presto? ❌ Cons • データがメモリから溢れた場合、 クエリの実行に失敗 • ノードの障害時もクエリが失敗 • 失敗時、自動での再実行無し Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Prestoクラスターの導入例 • Object Storage上のログの分析 • 障害発生時の調査を目的 • ログの形式はjson+gz Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Prestoクラスターの導入例 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Prestoクラスターの導入例 このクラスターを構築/運用したことで Prestoの課題が見えてきた Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Prestoクラスターの導入例 課題: ネットワーク帯域の圧迫 • 原因 1. クエリ実行の度にファイルを取得 2. jsonフォーマットの場合、 ファイル全体を取得 Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
Prestoクラスターの導入例 この課題をどう解決するのか？ もちろん、コミュニティと協力して! さらに、Pull-Requestで！ Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
まとめ • インタラクティブなクエリはPresto • クラスター運用するための課題は まだまだ沢山 • 課題を解決するためにヤフーは 積極的にOSSへコントリビュート Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .
EOP Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved .