145 Views
December 05, 16
スライド概要
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
可視化までのとある方法 2016年11月25日 ヤフー株式会社 三木 健司
自己紹介 名前 • 三木 健司(みつぎ けんじ) 好きな食べ物 • からあげ
アジェンダ • • • • • • 可視化するまでの流れ データ加工 OTEPONの説明 ダッシュボード dClipの説明 手順 実績 今後
可視化の流れ データ 加工 表示
可視化の流れ データ 加工 OTEPON 表示
可視化の流れ データ 加工 表示 OTEPON dClip
可視化の流れ データ 加工 表示 OTEPON dClip
可視化の流れ データ 加工 表示 OTEPON dClip
データ加工ツール OTEPON 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. WebUI Hive使用 構文チェック 必要なUDFを自動で認識 UDFは自動で更新 直ぐに結果を返す テンプレート機能 定常的に処理する 他システムへの連携 マルチクラスター対応
データ加工ツール OTEPON 1. WebUI 2. Hive使用 3. 構文チェック
データ加工ツール OTEPON 4. 必要なUDFを自動で認識 5. UDFは自動で更新 SELECT func(name) FROM data_night; ADD JAR hdfs:///user/mitsugi/udf.jar; CREATE TEMPORARY FUNCTION func AS …;
データ加工ツール OTEPON 6. 直ぐに結果を返す 実行 実行 数時間 確認 数秒 確認
データ加工ツール OTEPON 7. テンプレート機能 SELECT count(1) FROM data_night WHERE vol = _NUM1_ ; SELECT count(1) FROM data_night WHERE vol = 4;
データ加工ツール OTEPON 8. 定常的に処理する 9. 他システムへの連携 10. マルチクラスター対応 振り分け クラスタA OTEPON クラスタB
可視化の流れ データ 加工 表示 OTEPON dClip
ダッシュボードツール dClip 1. 2. 3. 4. 任意のデータを登録 システム連携したデータを表示 折れ線、円グラフなどで表示 レイアウト変更が楽
dClip画面
手順
手順 1. クエリの作成 2. 実行 3. 登録 4. レポートの作成
1. クエリの作成 SELECT gender, count(1) FROM data_night WHERE vol = 4 GROUP BY gender;
2. 実行 待つだけ!
3. 登録 データ保存先を指定 /d&s/ data_night/ vol1 vol2 vol3 キー(ラベル)で識別 vol4
4. レポートの作成
4. レポートの作成
4. レポートの作成
4. レポートの作成
4. レポートの作成
4. レポートの作成
レポート画面
レポート画面 簡単
実績
データ量(圧縮済みで最大) 〜3.5TB/日
OTEPON処理数 約90,000/月
dClipレポート総数 約20,000
今後
データ量 増
処理数 増
待ち時間 増
ユーザのイライラ 増
どうするか?
技術チャレンジ 増
ご清聴ありがとうございました