Apache Kylinについて #hcj2016

>100 Views

February 19, 16

#hcj2016 #Apache Kylin #OLAP #Big Data #HBase #データウェアハウス

スライド概要

懇親会LTのスライドです。
http://hadoop.apache.jp/hcj2016-program/

profile-image
スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

slide-thumbnail

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで
user-img Yahoo!デベロッパーネットワーク 165.2K
slide-thumbnail

ゼロから始める転移学習
user-img Yahoo!デベロッパーネットワーク 86.6K
slide-thumbnail

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon
idcon fidcon
user-img Yahoo!デベロッパーネットワーク 74.2K
slide-thumbnail

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo
openid openid_tokyo
user-img Yahoo!デベロッパーネットワーク 58.1K
slide-thumbnail

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤
devsumi
user-img Yahoo!デベロッパーネットワーク 36K
slide-thumbnail

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes
ml_kubernetes
user-img Yahoo!デベロッパーネットワーク 29.3K
各ページのテキスト
1.

Apache Kylinについて Hadoop / Spark Conference Japan 2016 ヤフー株式会社 古山 慎悟 2016年2月8日 http://www.yahoo.co.jp/

2.

はじめに Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2

3.

続きはRejected HCJ 2016で!!! http://www.zusaar.com/event/17397003 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3

4.

ここから本編 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4

5.

Apache Kylinについて • アーキテクチャ • OLAPの実行エンジンで、キューブをプレビルドしオンライ ンのクエリのレイテンシを下げる戦略をとっている プレビルドしたキューブはHBaseに配置し、クエリの実行 時にはプレビルドしたキューブから結果セットを生成する 強み • キューブをプレビルドするので、“BigAccount”的なファクトの 多重度の歪みに強い 弱み • ディメンションの多重度の歪みに弱い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5

6.

アーキテクチャ 出所:http://www.ebaytechblog.com/2014/10/20/announcing-kylin-extreme-olap-engine-for-big-data/ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6

7.

強み • • ほとんどのデータはパレート則的にファクトの多重度に歪みをみせる • たとえば、取引をたくさんしてくれている上客(BigAccount)であればある ほどその顧客に関するデータ量が大きくなる • そのユーザーのためのクエリを返すためのワークロードが他の顧客より多 いので、そのユーザーにとってのUXが損なわれる Kylinのアーキテクチャだと、上記のようなファクトの歪みがクエリのレイテ ンシに影響しない • たとえば、顧客IDに対する集計をプレビルドしておけば、顧客別の集計結 果を返すために必要なワークロードはどの顧客でも1件のlookupになる （こともある） • さらに、アプリケーションからは、SQLを介してプレビルドしたキューブ が透過的にみえるので、パフォーマンスチューニングのためにデータを再 設計する必要がない Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7

8.

弱み • • 一方で、ディメンジョンの多重度には弱い • ディメンジョンの多重度:値の種類(ex. 男女) • ファクトの多重度:値の種類ごとのレコード数 Kylinのアーキテクチャだと、キューブのディメンジョンの組み合わせ数に相 当するくらいのキー数のデータにプレビルドする（こともある） • ディメンション表に多重度が多いカラムがあると(100万以上とか)、 キューブのビルドが遅くなり、クエリのレイテンシにも悪影響がある • 組み合わせを素直につくらない仕組みや(Aggregation Group)、組み合わ せをなるべく減らす仕組み(Mandatory Dimension, Hierarchy Dimension, Derived Dimension)が実装されている • • ご参考: http://www.slideshare.net/YangLi43/design-cube-in-apache-kylin でも辛い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

9.

おわりに Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9

10.

続きはRejected HCJ 2016で!!! http://www.zusaar.com/event/17397003 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10

11.

EOP Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 11