スキーマレスカラムナフォーマット「Yosegi」で実現するスキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019

3.6K Views

March 12, 19

#hcj2019 #Yosegi #ログ収集 #Hadoop #Spark #カラムナフォーマット

スライド概要

Hadoop / Spark Conference Japan 2019 で発表させて頂いた、
「スキーマレスカラムナフォーマット「Yosegi」で実現する
スキーマの柔軟性と処理性能を両立したログ収集システム」の発表資料となります。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

自己紹介井島洸二ヤフー株式会社データ&サイエンスソリューション統括本部データプラットフォーム本部データデリバリー部所属ヤフーのログを収集する領域を担当する部門に所属主に HDFS にログを収集し、ログを処理するための環境を整える仕組みを担当 Processing Data Source Ingestion Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. Storage Analysis 2

ログ収集のアプローチ Schema-on-read 利用時にスキーマ定義する収集時に制約が少ない保存時の効率化が難しい Schema-on-write 保存時にスキーマを定義する収集時に制約が多い保存時の効率化が容易ヤフーではサービスから多種多様なログを収集するために、 schema-on-read のアプローチが向いている Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 7

10.

従来のヤフーでのログ仕様変更の対応共通フィールド(約40項目) ログ Map<String,String> Array<Map<String,>String> サービスA{ 検索に関する情報 } サービス共通のログフィールドとサービスが任意に拡張できるフィールドを用意。サービスB{ 商品に関する情報 } 拡張フィールドには Map を使って任意の key, value を付与できるサービスC{ コンテンツに関する情報 } Map 本来の使い方ではなく、JSON のように任意の key, value を入れられる設計が採用された Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 10

11.

12.

13.

14.

15.

16.

17.

Hive における JSON テーブルの更新 Replace Columns には対応していないカラム単体で追加や更新をしなければならない FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Replace columns is not supported for table json_table_1. SerDe may be incompatible. 引用： https://cwiki.apache.org/confluence/display/Hive/SerDe This can be done only for tables with a native SerDe (DynamicSerDe, MetadataTypedColumnsetSerDe, LazySimpleSerDe and ColumnarSerDe). カラムの更新は制約が多いので、テーブルを作成しなおすか、別にテーブルを作成してしまった方が早い Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 17

https://cwiki.apache.org/confluence/display/Hive/SerDe

18.

JSON を利用したログ収集システム・HDFS へのアップロード・パーティショニング Request API JSON message JSON message ETL JSON File HDFS Processing JSON をそのまま HDFS に保存するシンプルな構成が可能 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 18

19.

20.

21.

22.

自社データでの JSON との比較今回のデータではそこまで差はなかったデータサイズ(GB) ※1 100 Hive クエリの CPU TIME(min) 700 600 80 500 60 400 40 300 かなりのCPU リソースが削減される ※2 200 20 100 0 0 JSON Parquet JSON Parquet ※1：圧縮は gzip を利用 ※2：root 直下のカラム数30あるうちの2カラムを処理 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 22

23.

24.

25.

Hive でのカラムの参照の方法カラムのインデクス（順序）でデータにアクセスカラム名を変更できるカラムの名前でデータにアクセス柔軟なテーブルスキーマの更新が可能カラム名は変更できない参考：https://docs.aws.amazon.com/ja_jp/athena/latest/ug/handling-schema-updates-chapter.html#index-access Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 25

https://docs.aws.amazon.com/ja_jp/athena/latest/ug/handling-schema-updates-chapter.html#index-access

26.

27.

28.

29.

カラムナフォーマットを利用したログ収集システム・HDFS へのアップロード・パーティショニング・カラムナフォーマットへの変換・データの設計・スキーマの管理サービス担当 Request API Schema registry JSON message JSON message ETL HDFS Processing 事前に最終出力のスキーマ情報を登録・更新しなければならない。システムは同期して ETL に反映する仕組みが必要。 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 29

30.

31.

32.

スキーマの柔軟性と保存、処理性能の整理大項目スキーマ変更の強さ複雑なデータ構造の定義保存、処理性能小項目概要ルールベースでの書き込み (スキーマレス) スキーマを使わずにルールベースでデータの保持と復元ができる要素名でのアクセス要素の存在の有無に関わらないアクセス要素の有無に関わらずフィールドにアクセスできるネストスキーマの定義ネストを含む複雑なデータ構造を定義できるデータサイズ保存時のデータサイズ書き込み性能書き込みの性能読み込み性能 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. フィールドをカラム名でアクセスできる読み込みの性能 32

33.

フォーマットの比較大項目スキーマ変更の強さ複雑なデータ構造の定義保存、処理性能 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 小項目 JSON ORC Parquet ルールベースでの書き込み (スキーマレス) ○ × × 要素名でのアクセス ○ ○ ○ △ △ 要素の存在の有無に関わらないアクセス ○ ネストスキーマの定義 ○ ○ ○ データサイズ △ △ ○ 書き込み性能 △ ○ △ 読み込み性能 × ○ ○ データ参照側データ参照側で実装で実装 33

34.

35.

ヤフーのログ収集システムに求められる事 Hadoop 導入初期カラムナフォーマット登場以降書き込みのスキーマレス + 高処理効率 Schema-on-read Schema-on-write Schema-on-read schema-on-read を実現するために書き込みのスキーマレスと、高い処理効率が求められる。 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 35

36.

37.

38.

39.

データサイズと書き込み性能の比較 TPC-H 1000 書き込みの CPU TIME(min) TPC-H 1000 データサイズ(GB) 2000 300 250 1500 200 150 1000 100 500 50 0 0 Yosegi ORC Parquet part customer partsupp orders Yosegi Parquet ORC lineitem ORC が書き込みにおいては早い。今回は gzip で比較を行っているが、ORC はバイナリのタイプによって圧縮レベルを低くしている。そのため、データサイズが少し大きくなっている。 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 39

40.

処理性能の比較 TPC-H 1000 CPU TIME(min) 1800 1600 1400 1200 1000 800 600 400 200 0 q6 q16 q14 q1 q15 q11 q22 Yosegi q2 q12 q20 q13 q10 Apache ORC q4 q3 q7 q8 q5 q9 q17 q18 q21 Apache parquet 処理性能は他のカラムナフォーマットと同等 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 40

41.

スキーマレスなカラム構築 {“col3”: “val”} {“col1”: “val”, “col5”: “val”} {“col2”: “val”, “col4”: “val”, “col5”: “val”} 入力データ col1,col5 を動的に追加 col2,col4 を動的に追加内部データ Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 41

42.

ルールベースのカラムデータ書きこみカラム名で木構造を作成。各ノードには同じカラム名のカラムを配列で保持する木構造のデータを各ノード毎にバイト配列として書き出す。メタと実データは分離し、読み込みの際はメタを読み込みデータ構造を復元する。 Root [0] [1] [2] col1 書き込み処理 [0] col2 [2] col3 [0] [1] [2] col1[0] col2[0] col3[0] col1[1] col3[1] col1[2] col2[2] col3[2] 実データ領域 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 42

43.

Map 型の扱い Yosegi では Map 型は存在せず、データ構造は Struct となる Map 型で参照した場合には以下の制約がある１．Key の存在の有無が判定できない２．Key が無くて NULL か、value が NULL か区別できない３．カラム名で構成されるため Key は String 型のみ Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 43

44.

フォーマットの比較大項目スキーマ変更の強さ複雑なデータ構造の定義保存、処理性能 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 小項目 JSON ORC Parquet Yosegi ルールベースでの書き込み（スキーマレス） ○ × × ○ 要素名でのアクセス ○ ○ ○ ○ △ △ 要素の存在の有無に関わらないアクセス ○ ネストスキーマの定義 ○ ○ ○ ○ データサイズ △ △ ○ ○ 書き込み性能 △ ○ △ △ 読み込み性能 × ○ ○ ○ データ参照側データ参照側で実装で実装 ○ 44

45.

https://github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/DDLTask.java#L3960-L3968

46.

47.

Yosegi を利用したログ収集システム・HDFS へのアップロード・パーティショニング・Yosegi への変換 Schema registry Request API JSON message JSON message ETL Yosegi File HDFS Processing JSON と同様にシンプルなログ収集システムが構築可能 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 47

48.

実現したこと Hadoop 導入初期カラムナフォーマット登場以降 Yosegi Schema-on-read Schema-on-write Schema-on-read 「Yosegi」により Schema-on-read のアーキテクチャと高い処理性能の両立を実現 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 48

49.

50.

51.

[beta]

Map型の項目追加と参照
“option” : {
“opt1” : “value” ,
“opt2” : “value” ,
…
}

任意の key, value を
セットするだけ

SELECT option[“opt1”] …

CREATE TABLE t_1(
option MAP<STRING,STRING>
)

SELECT option[“opt2”] …

このフィールドへの項目追加は
テーブルを変更しなくて良い

参照したい Key を指定するだけ

Map 型で便利フィールドを作り、入力データのスキーマとテーブ
ル更新を不要にしてしまう方法
データを入れる側、使う側でスキーマの変更をしなくてよいので
業務への負担が少ない
Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.

51

52.

53.

Map型のデメリット Array Index Key Array Value Array 0 KEY-A v 1 KEY-B v 2 KEY-D v 3 KEY-B v 4 KEY-C v 5 KEY-A v 6 KEY-D v 全ての Key, Value が読み込まれ、特定の Key のみを読み込むのが困難 MAP{ KEY-A :v , KEY-B:v , KEY-D:v } MAP{ KEY-B:v , KEY-C:v } MAP{ KEY-A :v , KEY-D:v } Key, Value の配列から Map のデータ構造を個別に生成カラムナフォーマットのメリットである必要なカラムを処理するというメリットが無くなってしまう Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 53

54.

55.

クエリエンジンとネストスキーマ処理に必要なカラムは items.price でも親の items 以下全てのカラムが読み込まれる timestamp (BIGINT) 15167737 62 Items (Struct) item_id (STRING) price (BIGINT) number (INT) I_005 350 2 SELECT items.price WHERE … クエリエンジンはネストスキーマの Pushdown が対応していない事が多い（各 OSS の ISSUE で見かけるので対応は進んでいると思われる） Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 55

56.

処理効率が良いスキーマ timestamp (BIGINT) 1516773762 Items (Struct) item_id (STRING) price (BIGINT) number (INT) I_005 350 2 SELECT items.price WHERE … フラットなスキーマに変更 timestamp (BIGINT) Items_item_id (STRING) Items_price (BIGINT) Items_number (INT) 1516773762 I_005 350 2 SELECT items_price WHERE … ネストスキーマではなくフラットなスキーマでログを設計する Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 56

57.

58.

59.

Yosegi でのアプローチ Items (ARRAY) timestamp (BIGINT) Yosegi File 1516773762 total_price (BIGINT) 1000 Items (Struct) item_id (STRING) price (BIGINT) number (INT) I_001 300 1 I_005 350 2 timestamp (BIGINT) total_price (BIGINT) item_id (STRING) price (BIGINT) number (INT) 1516773762 1000 I_001 300 1 1516773762 1000 I_005 350 2 Array 展開のSQL SQL ファイルを読み込むときに、ネストスキーマをフラットスキーマとして読み込めれば、クエリエンジンで pushdown が有効になる Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 59

60.

Expand & Flatten Expand , Flatten を設定 Items (ARRAY) timestamp (BIGINT) total_price (BIGINT) 1516773762 1000 1516773765 200 クエリエンジン Items (Struct) Expand : ‘items’ item_id (STRING) price (BIGINT) number (INT) I_001 300 1 I_005 350 2 I_002 50 4 読み込み処理 Flatten : items.item_id -> item_id items.price -> price items.number -> number Expand timestamp (BIGINT) total_price (BIGINT) 1516773762 Flatten Items (STRUCT) item_id (STRING) price (BIGINT) number (INT) 1000 I_001 300 1 1516773762 1000 I_005 350 2 1516773765 200 I_002 50 4 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. timestamp (BIGINT) total_price (BIGINT) item_id (STRING) price (BIGINT) number (INT) 1516773762 1000 I_001 300 1 1516773762 1000 I_005 350 2 1516773765 200 I_002 50 4 60

61.

62.

ユースケース定常的な処理や高頻度に実行される処理性能優先のテーブル定義低頻度な試験的を行うために運用コストが低いテーブル定義 Map を含むネストスキーマのテーブルフラットスキーマのテーブル HDFS Processing データ利用担当ネストスキーマのデータ設計でも運用負荷と処理性能のバランスを取ることができる Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 62

63.

64.

schema-on-read と処理性能の両立 Hadoop 導入初期カラムナフォーマット登場以降 Yosegi Schema-on-read Schema-on-write Schema-on-read 「Yosegi」によりスキーマの柔軟性と高い処理性能を両立しつつ、スキーマ管理が不要なログ収集システムを実現 Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 64

65.

ネストスキーマへの対応 Items (ARRAY) timestamp (BIGINT) Yosegi File 1516773762 total_price (BIGINT) 1000 Items (Struct) item_id (STRING) price (BIGINT) number (INT) I_001 300 1 I_005 350 2 timestamp (BIGINT) total_price (BIGINT) item_id (STRING) price (BIGINT) number (INT) 1516773762 1000 I_001 300 1 1516773762 1000 I_005 350 2 Array 展開のSQL SQL ネストスキーマをフラットスキーマとして読み込むことにより、クエリエンジンの Pushdown を有効にする Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 65

66.

さいごに Yosegi はたくさんの人に使ってもらい改善をしていきたいと考えています。メーリングリストもありますので、なんでも気軽に連絡ください。 ■ 参考資料 - GitHub: https://github.com/yahoojapan/yosegi - Tech Blog: https://techblog.yahoo.co.jp/oss/introduction_of_datalake_and_mds/ Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved. 66 ※Multiple Dimension Spread(MDS)は Yosegi の旧プロダクト名となります。

スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Conference Japan 2019 #hcj2019