Hadoop〜Yahoo! JAPANの活用について〜

>100 Views

July 01, 11

#Hadoop #大規模データ処理 #分散処理システム #Yahoo! JAPAN #検索プラットフォーム

スライド概要

IDCフロンティアで行われたNOAHユーザー会での発表資料になります。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 159.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.4K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

Hadoop ～Yahoo! JAPANの活用について～ 2011/06/30 ヤフー株式会社 R&D統括本部角田直行

有名なネットサービス月間 546億PV 2011年3月月次報告より 1億4千万のつぶやき Twitter 1日楽天商品数 facebook 月間ユーザ数 2011年2月の平均Tweet数 7750万 2011年6月29日 7億5千万人 2011年6月各サービスとも日々成長を続けています 4 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

解決策としてのHadoop –大規模な処理、大容量のデータを扱うには 1台のサーバでは不可能 –マルチコアによる並行処理アプローチは複雑すぎる –数十～数千台規模で簡単にスケールする環境が不可欠この発表では、 Yahoo! JAPANがHadoopをどう活用しているかについて事例を交えて解説します 7 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

10.

Hadoopとは –大規模分散処理システム –Google MapReduce/GFSを論文を元に実装 –処理時間が数時間以上かかるようなバッチ処理に向いている → Webのように、即座に結果が返るようなリアルタイム処理には不向き –Javaで書かれ、オープンソースとして公開 9 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

11.

12.

13.

14.

15.

16.

17.

Hadoop at Yahoo! Inc –Hadoopユーザ、テスター、コミッターの数が最も多い –Hadoopのコードのおよそ70%がYahoo!からのもの –Hadoopのクラスタ、台数が最も多い – 多数のクラスタがあり、合計42000台以上 – 1クラスタにつき最大4000台 – コアコミッターを中心に、Horton Worksという会社を立ちあげ – Yahoo!独自に進化させるのではなく、オープンソースとしてのHadoopにより貢献するため 16 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18.

19.

20.

21.

22.

Hadoop at Yahoo! JAPAN 検索プラットフォームアクセスログデータプラットフォーム広告プラットフォームレコメンデーションプラットフォーム地域APIプラットフォーム様々なYahoo! JAPANのサービスを支えるプラットフォームで、 Hadoopが使われています 21 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

23.

24.

25.

26.

ABYSSでのHadoopの役割 – 検索データのストレージ – 検索インデックスを生成 – 検索データを加工して提供（マージ処理）フロントエンドサービス担当 Gateway Crawler Ops/Direct API Admin UI Workflow Hadoop UserDB Index 25 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

27.

28.

29.

30.

検索インデックス生成 1. 検索インデックスの元になるデータをアップロードユーザ ABYSS サービス側フロントエンドサーバ 2. Hadoopで検索インデックス生成 Hadoop Server 3. 検索インデックスをインデックスサーバに転送 Index Server 29 サービス担当者 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

31.

検索インデックス生成ユーザ 1. 検索インデックスの元になるデータをアップロード 4. サービス側のサーバを通じてユーザが検索可能に ABYSS サービス側フロントエンドサーバ 2. Hadoopで検索インデックス生成 Hadoop Server 3. 検索インデックスをインデックスサーバに転送 Index Server 30 サービス担当者 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

32.

Hadoop at ABYSS – Hadoop クライアントとサーバに分けて運用を行っている – サーバは開発用クラスタと、検証用クラスタ、本番用クラスタがある – 本番用クラスタは、DRBD+Heartbeatで冗長化 – 別サーバからHadoop ClientでJobの実行や、ファイルの転送を行っている開発用クラスタ Hadoop Client 31 検証用クラスタ本番用クラスタ Hadoop Client Hadoop Client Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

33.

Hadoopの事例まとめ –データ解析、データマイニング – ログ解析、レコメンデーション、テキストマイニングなど –検索関係 – 検索インデックス生成、ランキング計算など →大量のデータを読み込んで解析をする処理、大量の計算が必要な「バッチ処理」に向いている 32 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

34.

35.

まとめ –Hadoopは大規模なデータを複数のマシンに分散して処理できるプラットフォーム –Hadoopを使う企業は増え続けていて、不可欠な技術になりつつある –Hadoopは、大規模データを扱う処理や、大量の計算が必要なバッチ処理に向いている –Yahoo! JAPANはこれからもHadoopを活用していきます 34 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

36.

Hadoopの連載記事 –いまさら聞けないHadoopとテキストマイニング入門 –Hadoopの基礎や、セットアップ方法を載せています http://www.atmarkit.co.jp/fjava/rensai4/hadoop_tm01/01.html 35 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

http://www.atmarkit.co.jp/fjava/rensai4/hadoop_tm01/01.html

37.