「Data Infrastructure at Scale 」#yjdsw4
>100 Views
April 15, 16
スライド概要
http://yahoo-ds-event.connpass.com/event/24511/
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
関連スライド
各ページのテキスト
Data Infrastructure at Scale 角田 直行 ヤフー株式会社 データ&サイエンスソリューション統括本部
自己紹介 角田 直行(かくだ なおゆき) 2005〜 ヤフー株式会社に中途入社 地図、路線、検索などのサービスや 検索エンジン、検索PFなどの バックエンド開発を経験 2012〜 データソリューション領域に従事 現在、テクニカルディレクターとして統括本部全体の技術統括を務める
Agenda • Yahoo! JAPAN の規模 • 支えるデータインフラ • これからの挑戦
74% of smartphone users >5億 DUB No.1App publisher 82% of PC users >100 services >3000万 MAU 1.8億 商品数
Logging Data pipeline Processing
Data Store for Apps S3 Compatible Object Storage Yahoo! ID Keyed Database
Big Data ロギング対象ホスト： 回収データ量： Hadoop： 総データキャパシティ： 15000 nodes 125 TB/day >7000 nodes >100 PB
課題 (Exponential growth) Data Power
レガシーからモダンへ Legacy Pipeline
No.1企業とのタッグ
オープンソースへの貢献 ※ ※ ajisakaa.blogspot.jp/2016/01/the-activities-of-apache-hadoop.html
オープンハードウェア
海外データセンター ※写真はイメージです
まとめ • サービスやデータの規模は日本最大級 • 指数関数的に増加する課題に対し、 ソフト&ハード両面でアプローチ • オープンかつ最先端の技術を積極的に取り入れ、 データの価値を最大化させていく