Riakを利用したパーソナライズ事例

178 Views

June 06, 14

#レコメンドシステム #パーソナライズ #Riak #Hadoop #大規模データ処理

スライド概要

2014年6月4日（水）、Bashoジャパン株式会社主催「Riak Meetup Tokyo #04」内の、Yahoo! JAPANからの発表です。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

自己紹介 P2 • 氏名：仁科朋也 • 入社年月： 2010年4月（新卒） • 担当業務：レコメンデーションシステム • システム設計、開発、運用 • ストレージ設置、運用 • 配信システム(APIのようなもの)の開発、運用 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

10.

11.

12.

ユーザデータ作成フロー（提供） P12 各サービス Hadoop Y!ニュースログデータ Y!検索・・・ユーザデータ Y!TOP Optimizer (API) レコメンドデータ生成ロジック Confidential :Discussion purpose only Riak ユーザデータ Uploader Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

13.

agenda P13 • システムについて • パーソナライズ事例 • レコメンドシステムについて • 格納しているデータについて • Riak について • サーバ構成と設定・監視 • 運用事例 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

14.

格納するデータ P14 • データの中身 • ユーザに対するワードとスコア • 格納の仕方 • Bucket: ユーザを識別するためのユニークID（13〜256Byte） • Key: スコアの計算ロジック等の識別子（5〜10Byteくらい） • Object: ワードとスコアの組（平均2KB） Key Object ロジックA サッカー(0.894), W杯(0.734) ロジックB 長友佑都(0.842),香川真司 (0.795) -> スコアの計算ロジックによって、複数のパターンがつく Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

15.

格納するデータ P15 • Write • 50〜100GBのデータを一日数回 • Read • ピーク時1,200 qps（災害時などのピークは2,000qps越え） • レスポンス300 ms 以内 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

16.

17.

18.

19.

サーバ構成・設定等 P19 • サーバ22台 • • • • SAS HDD 300GB*4 メモリ 48GB Raid 0 ファイルシステム xfs • Riak • • • • バージョン 1.4.0 Ring size 256 Back end eleveldb レプリケーション 3 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

20.

サーバ構成・設定等 P20 • サーバ22台 • • • • SAS HDD 300GB*4 メモリ 48GB Raid 0 ファイルシステム xfs ディスクI/Oのチューニング • Riak • • • • バージョン 1.4.0 Ring size 256 Back end eleveldb レプリケーション 3 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

21.

ディスクI/Oのチューニング P21 個人的にディスクI/O のチューニングが Riak のパフォーマンスの大部分を占めていると思っています。 1. 2. 3. 4. Riak の書き込みバッファの変更 Raid 構成の変更ファイルシステムの変更 I/Oスケジューラの変更 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

22.

ディスクI/Oのチューニング P22 1. Riak の書き込みバッファの変更 - write_buffer_size_min - write_buffer_size_max 2. Raid 構成の変更 - Raid0 3. ファイルシステムの変更 - xfs 4. I/Oスケジューラの変更 - deadline Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

23.

24.

サーバ構成・設定等 P24 • サーバ22台 • • • • SAS HDD 300GB*4 メモリ 48GB Raid 0 ファイルシステム xfs • Riak • • • • バージョン 1.4.0 Ring size 256 Back end eleveldb レプリケーション 3 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

25.

BackEnd について P25 • Bitcask • • bucket + key が全てメモリ上に乗っているレイテンシ重視のハッシュ構造 • eleveldb • • • bucket + key が一部しかメモリに乗らないツリー型で保持 bucket + key が多いときに有利以下の理由からeleveldb を採用 • 様々なロジックを追加したい • ユーザ数の増加 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

26.

その他のチューニング P26 • sysctl • • ファイルディスクリプタ • ネットワーク関係 • • • • • fs.file-max=65535 net.core.wmem_max = 33554432 net.core.rmem_max = 33554432 net.ipv4.tcp_max_syn_backlog = 40000 etc … 仮想メモリ • vm.swappiness = 0 • iptables • • アクセス制限ネットワーク制限 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

27.

28.

29.

30.

31.

32.

クライアントについて P32 基本的にパフォーマンス重視の使用方法 • （システムの都合上）C++ のクライアントを使用 • パフォーマンスを求めるため、Riak への接続はpb を使用 • read quorum = 1 ３つのレプリケーションからの１つでもレスポンスがあればOK • 使用したクライアントではタイムアウト制御が出来なかったため、 boost::thread を利用して強引にタイムアウト制御を実装 Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

33.

34.

35.

サーバの追加 P35 1. 監視設定・sysctl 等の設定変更 2. Riak のインストール 3. Riak へサーバを追加する riak-admin cluster join [email protected] riak-admin cluster plan riak-admin cluster commit Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

36.

サーバ投入時の帯域 P36 • 新クラスタ作成後、初めてデータを流したとき • 既存クラスタにサーバを追加したとき ->帯域の使用量が多くなる Transfer-limit でしぼる riak-admin transfer-limit [email protected] <設定値> Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

37.

サーバダウン P37 深夜に一台のサーバがハードウェア障害によりダウン -> ダウンした時に接続していたクライアントが一度エラーを出力 <応急対応開始> • 他のサーバから問題なく引かれていることを確認 • アラートの通知を切る <応急対応終了> <翌日出社後> • サーバリプレイスを行うサーバがダウンしたのは一度だけ Confidential :Discussion purpose only Copyright (C) 2014 Yahoo Japan Corporation. All Rights Reserved.

38.

39.

40.