黄色いゾウさんと愉快な仲間たちの近況報告 #hadoopreading

黄色いゾウさんと 愉快な仲間たちの 近況報告 2016年8月24日 @shoe116 1

0. 本日の内容 1. 2. 3. 4. 自己紹介 注目キーワード紹介 黄色いゾウさんと愉快な仲間たちの近況 個人的な所感 注) 内容は筆者の個人的見解であり、筆者の所属組織とは無関係です 2

1. 自己紹介：@shoe116 なまえ：しゅう (@shoe116) お仕事：データプラットフォーム部データフィード - いろんなデータをETLしてHDFSに置いておく これまで：広告システム→Qubitalデータサイエンス 言語：Python, Java > JavaScript > Scala, C++ 興味：No music, no life. No idol, no life. 課外活動：お歌を歌ったり、戯言を並べたり - https://shoe116.tumblr.com/ 3

2. 注目キーワード紹介

#HS16SJの注目キーワード 独断と偏見で選んだ、Hadoop界隈注目キーワード。 1. data in motion, data at rest 2. Stream Processing 3. Enterprise [1] 5

Data in Motion, Data at Rest • • • • data in motion = 今まさに生まれているデータ data at rest = 蓄積済みのデータ 今までは“at rest”、つまりデータレイクメイン 今後は“in motion”と“at rest”を組み合わせる [1] 6

Stream Processing • 生まれ続けるデータ(“data in motion”)から、いかに速 く価値をだすか？ • 全セッションの1/4はデータの継続的な逐次処理、い わゆるストリーム処理がテーマ • 今までbatchでしか処理出来なかったことを、どう やってStreamで処理するか 7

Enterprise • 簡単に言うと、HAとセキュリテイ(ACL)のこと。keynote では大人気（ある意味当たり前） • HAは、各社具体的な取り組み報告あり • セキュリティは「Enterpriseにはセキュリティ大事だよ ね！」「うんうん！」という感じ • ACLの話を始めると、HDFSが結局“ファイルシステ ム”であるという問題が顕在化する 8

3. 黄色いゾウさんと 愉快な仲間たちの 近況報告

Hadoopとエコシステムの現状 独断と偏見で選んだ、最近のエコシステムのあり方。 1. 2. 3. 4. Kafkaはデファクトスタンダード Stream処理エンジンは群雄割拠 HDFSへのSQLはHiveへ収束 Sparkは分析ツール [1] 10

Kafkaはデファクトスタンダード • 流行りというより、常識になった • データはKafkaから流れてきて、最終的にHDFSに置 かれる • Stream処理の入り口はほぼKafka一択な感じ [2] 11

Stream処理エンジンは群雄割拠 • Storm, Spark Streaming, Flink, Flume, Kafka Streams, Heron, and etc • プロダクションの実績ではStromが一歩リード。 • 注力領域だけあってポジショントークがすごい • Hortonworks 「Strom1.0がでたよ！2系も来るよ！」 • Cloudera 「Stormは直に歴史の１ページ」 • “Ingest and Stream Processing - What will you choose?”[3]にまとまっている 12

HDFSへのSQLはHiveへ収束 • HDFSへのSQL（いわゆるSQL on Hadoop）はHiveに 落ち着いた。特にメモリに載り切らないSQLはHive 一択 • Presto, Drill, Impala等はmassively-parallel processing (MPP)でインタラクティブ、かつデータソ ースを跨ぐ部分で競争中 • “Apache Hive 2.0: SQL, Speed, Scale”[4]に一通りまと まっている 13

Sparkは分析ツール • パフォーマンスというより、多機能でプログラミングし やすいインターフェースが売り • Hiveやprestoと同じ、データから価値を出すツール [5] 14

4. 個人的な所感

#HS16SJの個人的な感想 Hadoop Summit 2016に行った個人的な感想。 1. セキュリティ、特にACLについて 2. オンプレとクラウドの使い分け 3. アメリカすごい、日本ヤバい [1] 16

セキュリティ、特にACLについて • file systemであるHDFSに直接アクセスされると、 schemaでのACLは当然かけられない • 列指向フォーマットファイル（ORC等）に、抽象化した アクセスを提供するレイヤが待たれる • つまりそれがLLAP(+Renger)で、目下開発中 17

オンプレとクラウドの使い分け • ちょっと前までは「とりあえずデータはクラウド」って 言う感じ • “data in motion”の処理は当然プロダクションから 近いほど有利 • クラウドとオンプレを組み合わせる • “data at rest”はクラウド • “data in motion”はプロダクション環境 18

アメリカすごい、日本ヤバい • HDFS+kafkaをmongoDB+rabbitMQくらいの感じでみ んな自然に使ってる • 日本のビッグデータはまだ目的な気がする、アメリ カではすでに手段になっている • 抱えている課題は日米同レベル、違うのは解決力 19

参考資料等 [1] Hortonworks Modern Architecture http://www.slideshare.net/MatsJohansson4/data-in-motion-data-at-rest-hortonworks-a-modern-architecture [2][3] Ingest and Stream Processing - What will you choose? http://www.slideshare.net/HadoopSummit/ingest-and-stream-processing-what-will-you-choose?qid=bcf794fa-e2eb-4eb9-947867d42c5a790c&v=&b=&from_search=2 [4] Apache Hive 2.0: SQL, Speed, Scale http://www.slideshare.net/HadoopSummit/apache-hive-20-sql-speed-scale-63920205 [5] Producing Spark on YARN for ETL http://www.slideshare.net/HadoopSummit/producing-spark-on-yarn-for-etl 20

• http://www.slideshare.net/MatsJohansson4/data-in-motion-data-at-rest-hortonworks-a-modern-architecture
• http://www.slideshare.net/HadoopSummit/ingest-and-stream-processing-what-will-you-choose?qid=bcf794fa-e2eb-4eb9-9478-
• http://www.slideshare.net/HadoopSummit/apache-hive-20-sql-speed-scale-63920205
• http://www.slideshare.net/HadoopSummit/producing-spark-on-yarn-for-etl