Yahoo! JAPAN IDの裏側#yjdsw3

Yahoo!  JAPAN  IDの裏裏側 ヤフー株式会社 データ＆サイエンスソリューション統括本部 　データインフラ本部 宮下  靖史 2015/11/24(⽕火)

⾃自⼰己紹介 宮下  靖史 〜～  略略 　歴  〜～ • 前職：  満８年年  (2004ʼ’04〜～2012ʼ’03) 官省省庁向けSIer事業(主にバイオインフォマ ティクス分野)においてSE業務に従事 • ヤフー(株)：  ３年年７ヶ⽉月  (2012ʼ’04〜～) ユーザーデータを保管・管理理するシステムの SE業務に従事  (2013ʼ’04〜～プロダクト責任者)

Yahoo!  JAPAN  IDとは • サービス利利⽤用時に必要 – Yahoo!メール  や  ヤフオク!  をはじめとする、 ログインが必要となる様々なサービスを 利利⽤用する際に取得されている。 • Yahoo!  JAPAN専⽤用の「識識別⼦子」 – Yahoo!  JAPANのサービスを利利⽤用するための 名前である。※以降降「ヤフーID」と略略す。 1998年年からサービスを開始 プレスリリース • 1998年年7⽉月27⽇日  My  Yahoo!をはじめユーザー情報を利利⽤用した  4つの登録サービスを開始

ユーザーデータベースとは • ヤフーIDの属性管理理DB – 各ヤフーIDの属性情報を格納するデータベースである。 ※NoSQLなY!独⾃自(KVS系)技術を採⽤用している。 • 社外連携⽤用IDの属性管理理DB – Yahoo!  ID連携  において社外システムで ヤフーID  を連携するためのデータベースである。 • ヤフーIDの認証情報管理理DB – ヤフーIDの認証情報(ログインパスワード、 秘密の質問など)を格納するデータベースである。

ヤフーIDの属性管理理DB • 格納データ – ⽉月間アクティブユーザーID数：  3,094万  　※  ヤフーID総数は  2億8,000万以上 – 属性数：800種以上、平均データサイズ：6kB • システム – 接続クライアント：  10,000台以上 – リクエスト数：  約110k  rps  →  秒間11万@毎⽇日  　→  過去最⼤大：  約200k  rps  (ロンドン五輪輪)  　 　   　※⼤大多数は「参照リクエスト」である。 – 構成サーバ：  1U  汎⽤用サーバ

そこで質問です こんなヤフーIDの裏裏側ですが、 サーバ台数は？

そこで質問です 〜～1000台くらい？ 〜～500台くらい？ 〜～100台くらい？ 〜～10台くらい？

そこで質問です 〜～1000台くらい？ 〜～500台くらい？ 〜～100台くらい？ 〜～10台くらい？

そこで質問です 〜～1000台くらい？ 〜～500台くらい？ 〜～100台くらい？ 〜～10台くらい？

そこで質問です 〜～1000台くらい？ 〜～500台くらい？ 〜～100台くらい？ 〜～10台くらい？

そこで質問です 〜～1000台くらい？ 〜～500台くらい？ 〜～100台くらい？ 〜～10台くらい？

そこで質問です 16台 (SPOFの最⼩小動作時) 四重化のため全容は 80台

システムの⼤大刷新 • セキュリティの向上  <約⼀一年年> – 不不正アクセス対策 プレスリリース • 2013年年5⽉月23⽇日  「当社サーバーへの不不正なアクセスについて」(5/17発表)の追加発表 • 2013年年5⽉月17⽇日  当社サーバーへの不不正なアクセスについて • 2013年年4⽉月4⽇日  当社サーバーへの不不正なアクセスについて • テクノロジーの最新化  <約⼀一年年半> – アプリケーションの最新化、OSの変更更、 最新H/W(PCI-‐‑‒SSD)の採⽤用、システム構成の変更更

システムの⼤大刷新 • セキュリティの向上  <約⼀一年年> – 不不正アクセス対策 プレスリリース • 2013年年5⽉月23⽇日  「当社サーバーへの不不正なアクセスについて」(5/17発表)の追加発表 • 2013年年5⽉月17⽇日  当社サーバーへの不不正なアクセスについて • 2013年年4⽉月4⽇日  当社サーバーへの不不正なアクセスについて • テクノロジーの最新化  <約⼀一年年半> – アプリケーションの最新化、OSの変更更、 最新H/W(PCI-‐‑‒SSD)の採⽤用、システム構成の変更更 5年年ぶりの⼤大刷新 2010年年以来、

【刷新の成果  1/5】 セキュリティの向上 • 情報資産(=属性)のACL： 数種  →  すべて 個⼈人情報などの 秘 秘 極

【刷新の成果  2/5】 冗⻑⾧長化度度の向上 ⼆二重化  →  四重化 • 接続： ※  無料料⽇日本地図イラスト素材  http://free-‐‑‒japan-‐‑‒map.com/01japan/05-‐‑‒japan.html

【刷新の成果  3/5】 保守台数の削減 456台→80台 • サーバ数： ※  無料料⽇日本地図イラスト素材  http://free-‐‑‒japan-‐‑‒map.com/01japan/05-‐‑‒japan.html

【刷新の成果  4/5】 パフォーマンスの向上 最⼤大９倍 • リクエスト： 　 200k  rps  →  1,800k  rps  (MAX) 450k  rps  (SPOF) ※  いらすとや  http://www.irasutoya.com/2014/06/ssd.html  　  SanDisk  http://www.sandisk.co.jp/enterprise/pcie_̲flash/

• http://www.irasutoya.com/2014/06/ssd.html

【刷新の成果  5/5】 コストの削減 約７割を削減 • 維持費： 　 (数千万円/年年)   ※  素材屋⼩小秋  http://www.sozaiyakoaki.com/mar/osaifu-‐‑‒gamaguchi/  　  Frameillust  http://frame-‐‑‒illust.com/?p=2966

2010年年以来、 5年年ぶりの⼤大刷新  　  

2010年年以来、 5年年ぶりの⼤大刷新 切切替完了了

システムの⼤大刷新が終わり、我々は

システムの⼤大刷新が終わり、我々は 次の世代へ 挑戦中。。。

お  わ  り 参加メンバーの紹介 宮下  靖史 薗頭  徹 ⼭山本  航平 興味を持たれたことがあれば、  　    気軽に話しかけてください