Riak事始め＆デモ

118 Views

March 19, 13

#Riak #NoSQL #分散データベース #Riak EDS #Riak CS

スライド概要

2013年3月12日（火）、Yahoo! JAPANにて、Bashoジャパン株式会社主催の「Riak Meetup Tokyo」が開催されました。その中でのYahoo! JAPANからの発表です。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

Ｒｉｋ事始め＆デモＲｉａｋ事始め＆デモヤフー株式会社マーケティングソリューションカンパニー新規事業本部阪田浩隆 2013年3月12日（火）

氏名：阪田浩隆（さかたひろたか）入社年：2004年10月担当業務実績： - 社内認証システム開発 - ビジネス系認証システム開発 - 社内ツール系開発 - 分散KVS 開発・保守・運用 - オブジェクトストレージ開発現在：Riak開発部隊（Yahoo! JAPAN内） 2 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

アジェンダ 1. インストールから設定・起動まで • Riak / Riak EDS • Riak CS 2. Riak EDSを使ったデモ • コマンドラインからのデータ登録/参照 3. どの場面で利用するのが良いのか 4. Riak CSを使ったデモ • マウント機能を使った動画投稿ウント機能を使た動画投稿 3 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

http://basho.com/resources/downloads/

• 1nodeの構築 • インストール C tOS 6の環境でインストールする場合 CentOS 6の環境でインストルする場合 $ sudo yum install riak-1 riak 1.2.1 2 1-1 1.el6.x86_64.rpm el6 x86 64 rpm 8 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

10.

• 1nodeの構築 • 設定ファイル編集その１ $ sudo d vii / /etc/riak/app.config t / i k/ fi ローカルに環境がある場合はロカルに環境がある場合は、設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 {http, [ {"127.0.0.1", 8098 } ]}, ↓ {http, [ {“独自環境のIPアドレス", 8098 } ]}, 9 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

11.

• 1nodeの構築 • 設定ファイル編集その２ $ sudo d vii / /etc/riak/vm.args t / i k/ ローカルに環境がある場合はロカルに環境がある場合は、設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 -name [email protected] ↓ -name riak@独自環境のIPアドレス 10 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

12.

13.

• 1nodeの構築 • 確認その２ $ sudo riak-admin member_status ================================= Membership ================================= •Status 確認その１確 Ring Pending Node --------------------------------valid 100.0% -- ‘[email protected]' --------------------------------Valid:1 / Leaving:0 / Exiting:0 / Joining:0 / Down:0 ↑ この表示が出ることを確認 12 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

14.

• 1nodeの構築 • 確認その３ $ sudo riak-admin ring_status ============= Claimant ============= Claimant: ‘riak@127 [email protected] 0 0 1' Status: up •Ring 確認確その１ Ready: true ========= Ownership Handoff ========== No pending changes. ========= Ownership Handoff ========== All nodes are up and reachable ↑ この表示が出ることを確認 13 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

15.

• クラスタの構築 • 設定（コマンド） $ riak-admin cluster join riak@[IPアドレス] • 確認 $ sudo riak riak-admin admin member_status member status ↑ このコマンドで、表示確認 14 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

16.

• レプリケーションの設定（有償版のみ） • 設定ファイル編集 $ sudo vi /etc/riak/app.config レプリケシン設定（以下サンプル）を追加反映レプリケーション設定（以下 {riak_repl, {riak repl [ {fullsync_on_connect, true}, {fullsync_interval, { y _ , 360}, }, {data_root, “/var/lib/riak/riak_repl"}, {queue_size, 104857600}, { {server_max_pending, di 5} 5}, {client_ack_frequency, 5} ]} ]}, 15 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

17.

• レプリケーションの設定（有償版のみ） • レプリケーション設定 $ riak-repl add-listener ‘riak@自分自身のIP’ ‘自分自身のIP’ 9010 コマンド実行後は、特に何も出力しませんンド実行後は特に何も出力しません $ riak-repl add-site ‘同期先のIP’ 9010 クラスタ名コマンド実行後は特に何も出力しませんコマンド実行後は、特に何も出力しません 16 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

18.

19.

20.

21.

22.

23.

24.

• 高速にデータアクセスさせたい場合 • 集合から単一データを高速に取得したい場合 • 将来的にデータ件数/容量が増える事が確実である場合 • スケールアウトが必須の場合スケルアウトが必須の場合 • 運用コストを軽減したい場合 • システムが巨大化してしまいシステムが巨大化してしまい、運用コスト軽減を検討運用コスト軽減を検討したい • サーバー、人件費の両方サバ人件費の両方 23 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

25.

26.

27.

28.

• Riak CSの構築 • 1nodeの構築 • パッケージダウンロード • 開発トライアル登録後、ダウンロードURLが案内される発後 • インストール CentOS 6の環境でインスト 6の環境でインストールする場合ルする場合 $ sudo yum install riak-cs_1.2.0.el6.x86_64.rpm 27 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

29.

• 設定ファイル編集 $ sudo vi /etc/riak-cs/app.config ローカルに環境がある場合は、設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 {cs_ip, "127.0.0.1"}, ↓ {cs_ip, "独自環境のIPアドレス"}, 28 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

30.

31.

• 設定ファイル編集 $ sudo vi /etc/riak-cs/vm.args ローカルに環境がある場合は、ロカルに環境がある場合は設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 -name [email protected] ↓ -name riak@独自環境のIPアドレス 30 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

32.

33.

• Stanchionの構築 • 1nodeの構築 • パッケージダウンロード • Riak CSと同じです • インストール CentOS 6の環境でインスト 6の環境でインストールする場合ルする場合 $ sudo yum install stanchion-1.0.1-1.el6.x86_64.rpm 32 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

34.

• 設定ファイル編集 $ sudo vi /etc/stanchion/app.config ローカルに環境がある場合は、設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 {stanchion_ip, "127.0.0.1"}, ↓ {stanchion_ip, "独自環境のIPアドレス"}, 33 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

35.

36.

• 設定ファイル編集 $ sudo vi /etc/stanchion/vm.args ローカルに環境がある場合は、ロカルに環境がある場合は設定ファイルの編集は、特には不要。ネットワーク環境にある場合で、 IPアドレスが指定されている場合は、以下を編集 -name [email protected] ↓ -name stanchion@独自環境のIPアドレス 35 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

37.

38.

39.

40.

41.

42.

43.

44.

データ • 登録件数 • 約20万件弱（データ移行は3時間程度） • ファイルの種類/サイズ • 画像データ • 5k～500k • リクエスト数 • 450req/sec • CDNキャッシュヒット率 • 97% • レスポンス • 10ms～80ms （CDNにキャッシュされている状態だと10ms程度） 43 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

45.

構築～リリースまでの期間 • 構成検討、各種調整（NW、サーバー調達）構成検討各種調整（NW サバ調達） • 1週間 • 構築＆テスト・リリース • 構築：1日 • テスト&リリース：1週間問題になったところ • データをフラットに配置したところ、一覧取得できなくなった覧取得できなくなた • 解決策：ディレクトリを分けてもらった 44 Copyright © 2013 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止

46.

47.