Hadoop　〜Yahoo! JAPANの活用について〜

238 Views

September 15, 10

#Hadoop #大規模データ処理 #分散処理 #Yahoo! JAPAN #MapReduce

スライド概要

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

オープンソースカンファレンス2010 Tokyo/Fall Hadoop ～Yahoo! JAPANの活用について～ 2010/9/10 ヤフー株式会社 R&D統括本部角田直行、吉田一星

自己紹介吉田一星（よしだいっせい） R&D統括本部プラットフォーム開発本部検索開発部開発３ R&D統括本部フロントエンド開発本部アプリケーション開発部開発４（兼） R&D統括本部プラットフォーム開発本部要素技術開発部開発３（兼） – 2008年にYahoo! JAPANに入社 – 検索プラットフォームや画像処理でHadoopに関わる開発 – 地図検索、地域プラットフォームでもHadoopに関わる開発を経験

解決策としてのHadoop –大規模な処理、大容量のデータを扱うには 1台のサーバでは不可能 –マルチコアによる並行処理アプローチは複雑すぎる –数十～数千台規模で簡単にスケールする環境が不可欠この発表では、 Yahoo! JAPANがHadoopをどう活用しているかについて事例を交えて解説します 8 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

10.

11.

Hadoopとは –大規模分散処理システム –Google MapReduce/GFSを論文を元に実装 –処理時間が数分～数時間かかるようなバッチ処理に向いている → Webのように、即座に結果が返るようなリアルタイム処理には不向き –Javaで書かれ、オープンソースとして公開 10 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

12.

13.

14.

15.

16.

Hadoop関連プロダクト大規模データ処理用スクリプト言語 Pig A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; Facebookが開発扱いが一般データベースに似ている Hive 15 CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo FROM pokes a; Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

17.

Hadoop関連プロダクト Oozie 複数のMapReduceジョブなどを実行制御するワークフロー Hadoop上に構築された列指向データベース Google BigTableのクローン HBase Mahout 16 機械学習ライブラリ Hadoopでスケール可 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18.

19.

20.

21.

eHarmony – アメリカの4%のカップルがeHarmonyを通じて結婚 – 毎日平均236人が結婚している – カップルのマッチングの計算にHadoopを利用 – 何十年もの研究と臨床実験に基づいたモデル – 新しいモデルも日々テストされている – モデルの評価は、部屋にゴリラを入れて実験 20 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

22.

23.

簡単に使える環境 –Amazon Elastic MapReduce –HadoopのMapReduceを簡単に実行できる –従量課金（100台を1時間で、1000円程度） –Hadoopの知識は必要だが、セットアップは最小限 –Google BigQuery –GoogleのMapReduce環境を使える –SQLライクな命令（Hiveに似ている） –REST APIで簡単に実行できる 22 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

ABYSSとは？ – 社内の検索サービスをホスティングするプラットフォーム – 主に検索データのストレージとしてHadoopを利用 – 検索データの解析処理などにMapReduceを使用フロントエンドサービス担当 Gateway Crawler Ops/ Direct API Admin UI Workflow Hadoop UserDB Index 39 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

41.

Hadoop Client – HadoopをClientとServerに分けて、運用を行っている – 他のサーバにあるHadoopクラスタのファイルの読み書きや、 Jobの実行を簡単に行える $ hadoop fs –put localfile hdfs://nn.example.com:9000/hadoop/hadoopfile $ hadoop fs –get hdfs://nn.example.com/user/hadoop/file localfile 40 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

42.

Hadoop Client – core-site.xmlやmapred-site.xmlに外部のHadoop Serverを指定し、Hadoop Clientとしてパッケージ化 - core-site.xml <property> <name>fs.default.name</name> <value>hdfs://nn.example.com:9000</value> </property> - mapred-site.xml <property> <name>mapred.job.tracker</name> <value>nn.example.com:9000</value> </property> 41 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

43.

Hadoop Server – 開発用クラスタと、検証用クラスタ、本番用クラスタがある – 本番用クラスタは、DRBDでNamenodeを冗長化 – 別サーバからHadoop ClientでJobの実行や、ファイルの転送を行っている開発用クラスタ Hadoop Client 42 検証用クラスタ本番用クラスタ Hadoop Client Hadoop Client Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

44.

ファイルの転送 – 基本的には、Hadoop Clientで転送 – HTTP経由で転送する場合もあり – DatanodeのHTTP Serverから転送 – デフォルトではGETしかできないが、パッチをあててPUT/POST/DELETEもできるようにしている – ThriftやFUSE経由で転送しているサービスもある 43 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

45.

46.

Eclipse Plugin – Eclipse Pluginを使えば、Hadoop Clientが入った状態になる – 直接、開発用クラスタにJobを投げて実行 – VMWare上にHadoopクラスタを立ち上げる場合もあり – YahooやClouderaで、セットアップがほとんど必要ない VMWareのイメージファイルが公開されている 45 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

47.

セキュリティ – Hadoop Serverのアカウントを持っていなくても、Hadoop Clientで、どこからでもJobを実行したり、ファイルの読み書きができる – 権限管理の仕組みはあるが、セキュリティの観点ではほとんど意味をなさない – 複数人でクラスタを共用する場合は問題 – 解決法 – ネットワークを遮断して、ポートをアクセス制限 – 誓約書を書かせる – Hadoop with Securityを後ほど紹介 46 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

48.

[beta]

Hadoopのuser/group
– なんとなく、シェルのログインuser/groupが適用されているが・・・
– Hadoop Client側で、”whoami”、”bash –c groups” コマンドを実行
して取得しているだけ
– ちなみにWindowsでは取得できない
static String getUnixUserName() throws IOException {
String[] result = executeShellCommand(
new String[]{Shell.USER_NAME_COMMAND});
return result[0];
}
UnixUserGroupInformation.java
public final static String USER_NAME_COMMAND = "whoami";
public static String[] getGROUPS_COMMAND() {
return new String[]{"bash", "-c", "groups"};
}

47

Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

Shell.java

49.

任意のuser/groupを指定 – Hadoop Clientのcore-site.xmlで、hadoop.job.ugiを指定する – MapReduceのJobごとに動的に指定することも可能 - core-site.xml <property> <name>hadoop.job.ugi</name> <value>user,group</value> </property> - MapReduce JobConf conf = new JobConf(Test.class); conf.set(UnixUserGroupInformation.UGI_PROPERTY_NAME,”user,group”); 48 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

50.

Hadoop with security – いままでのHadoopのセキュリティには問題がある – Yahoo! Distribution Of Hadoop With Security – Kerberos認証ベース – まだベータバージョン – Hadoop 0.22で正式サポート – Hadoop 0.21にも一応追加されているが、まだうまく動かない模様 – Cｌoudera Distribution Of Hadoopの次のバージョンにも追加 49 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

51.

52.

クラスタ構築 –データ保存用途が計算用途より速いスピートで増大する –CPU、メモリともに余り気味 → ディスクI/Oがネックになっているのも原因の一つ –CPU数は抑えめに、ディスク数は多めにした方がよい → かといって安いマシンで構築してはならない (コモディティのミスリーディング) 51 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

53.

パラメータチューニング – mapred.tasktracker.map.tasks.maximum / mapred.tasktracker.reduce.tasks.maximum – TaskTrackerで同時に走る最大タスク数 – Coreの数-1ぐらいで最適なパフォーマンスが得られる – mapred.child.java.opts – 子プロセスのJVMオプション – MapReduceから動的に設定でき、ある特定のJobで最大ヒープサイズを増やしたいときなどに指定する – JVMオプション – Namenode、Jobtrackerなど個別に設定可能 – XmxとXmsを同じにする、GCなどのチューニング 52 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

54.

圧縮 – gzip、bzip2、LZO、ZIPなどの形式をサポート – 巨大な入力データは、bzip2で圧縮する場合が多い – Bzip2は、分割可能 – gzipなどは、分割できず、１ファイルにつき1MapTaskが立ち上がってしまう – Mapの出力はLZOで圧縮 – 解凍、圧縮の速度が早い – 帯域が問題になる場合が多いため、圧縮した方がよい 53 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

55.

ソートのチューニング –ソート実装(map.sort.class)の変更 –デフォルトはQuickSort –ログのソートはHeapSortの方が高速 –ソートに使うメモリサイズ(io.sort.mb)の変更 –デフォルトは100MB –増やし過ぎると逆効果になることも 54 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

56.

アプリケーション開発 –早めに本番データを使って本番環境でテストすべき –テストデータでは起こらない事象が次々に起こる –大量のGzipファイル処理でMapper数増大 –改行コードの混在(LF、CR、CRLF) –マイナーバージョンアップの変更から起きる不具合 –各ノード間の設定差異による不具合 … 55 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

57.

58.

まとめ –Hadoopは大規模なデータを複数のマシンに分散して処理できるプラットフォーム –Hadoopを使う企業は増え続けていて、不可欠な技術になりつつある –Hadoopの利用例 –検索関係、ログ解析、機械学習など –大規模データを扱う処理や、大量の計算が必要なバッチ処理に向いている 57 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

59.

http://techblog.yahoo.co.jp/

60.

61.

Hadoop 〜Yahoo! JAPANの活用について〜