MBAで覚えるDBREの大事なおしごと #dbts

2.3K Views

October 02, 19

#dbts #DBRE #データベース運用 #監視 #バックアップ #事業継続計画

スライド概要

徐々に日本でも認知されはじめた「Database Reliability Engineering（DBRE）」
その職域のなかでも特に重要なMonitoring, Backup, Audit, Auth
について、Yahoo! JAPANの取り組み事例を交えながら解説します

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 159.9K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 85.4K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 72.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 57.4K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 34.8K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 28.9K

各ページのテキスト

DBREの役割 Educator and Mentor （教育） Platform Builder （プラットフォーム構築） Force multiplier （戦力倍増/自動化） Operations Expert （運用エキスパート） t-shaped （深い専門領域＋広い見識） 9 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

10.

DBRE領域の業務（ヤフーの場合）データベースの非機能要件システムの構築運用セキュリティデータベース予算管理社内教育 10 Provisioning / Monitoring / Backup Audit / Authentication / Encryption アカウント管理 Counting 社内セミナー / 新卒・中途向け研修データベース利用ガイドラインの作成 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

11.

今RDB何台くらいあるの？ 11 PF バージョンなど DB数ホスト数 Oracle（オンプレ）バージョン 11.2.0.4 12.1.0.2 12.2.0.1 260 1200台（実機） MySQL V1（オンプレ）バージョン 5.6 5.7 340 1000台（実機） MySQL DBaaS （プライベートクラウド）バージョン 5.7 1730 5200台（仮想VM） Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

12.

13.

14.

DB Monitoring（3年前）可視化(FE) OS監視ミドルウェア (Oracle) リポジトリ(BE) Nagios ＋内製ツール Nagios 3年も立つと大分変わるミドルウェア Nagios Nagios(MySQL) / Zabbix / MRTGは（弊社では）絶滅が近い・・・ストレージネットワーク 14 MRTG MRTG Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

15.

16.

DB Monitoring 可視化(FE) リポジトリ(BE) OS監視 Kanseito（内製）ミドルウェア (Oracle) AWR Warehouse ミドルウェア • Enterprise manager：死活監視/リソース監視 (MySQL) • elasticsearch＋kibanaでEMのメトリックデータを吸い出し、ストレージキャパシティプランニングに利用ネットワーク 16 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

17.

DB Monitoring 可視化(FE) リポジトリ(BE) OS監視 Kanseito（内製）ミドルウェア (Oracle) AWR Warehouse ミドルウェア (MySQL) ストレージ • OSのログ、DBのログをelasticsearchに流し込んでGrafanaで可視化 • Grafanaは全社に開放。DBAと開発者が同じ数値をみて目線を合わせるネットワーク 17 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

18.

DB Monitoring 可視化(FE) リポジトリ(BE) OS監視 Kanseito（内製）ミドルウェア (Oracle) ストレージのモニタリングはGrafana＋influxdb • AWR Warehouse • ネットワークのモニタリングはGrafana＋Prometheus ミドルウェア • どちらも時系列DB (MySQL) ストレージネットワーク 18 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

19.

20.

21.

22.

Oracle EM/Kibana/AWRWarehouse kibana セルフサービスで自己参照アプリチームA DB EMサーバ AWRデータアプリチームB BI Publisher 自動レポート (定型グラフ等) AWRデータ DB EM DB AWRデータメールサーバ DB 全社DBA 22 メール配信 (自動) 必要に応じて分析 • 見える化を強化、ただ、全体的に古くなってきた感 • EM13.3使ってみたい • Grafana+Prometheus使ってみたい Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

23.

24.

25.

26.

27.

28.

ネットワーク Grafana+Prometheus ちなみにネットワークのPrometheus活用事例は Slideshareにありますので興味ありましたら是非 28 https://www.slideshare.net/techblogyahoo/prometheus-148831678 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

https://www.slideshare.net/techblogyahoo/prometheus-148831678

29.

DB Monitoring OS/DBだけでなく、ストレージ、ネットワークの監視もしっかり出来るようにしておく事が重要 DB寄りでない業務 • OSSの選定 • pluginの組み込みや開発 • 非DBコンポーネントの運用は新しいスキルを身につける絶好の機会なにより、楽しい UIがかっこいいとやる気が出る 29 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

30.

31.

Backup/BCP Bの話、いうことでここではBackup/BCPをまとめて扱います • • • • Backupは、「取れて当たり前」「誰にも褒められない」「取れていない場合」凄く怒られるポジティブに評価されないとにかくお金がかかるこのハードな業務に、どう対処していけば良いのか 31 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

32.

33.

34.

Backup/BCP 例1）ショッピングの受注受付DB • 30分止まると売上が○○億減る • 停止時間はできるだけ短く • 受注データの消失は許されない、ただ、受注ログは残っているため、論理的にデータを戻すことは可能 RTO=30分以内／RPO=極力消失させたくないが、戻す事も可 30分以内に確実に復旧、かつ停止時間を極小化したい ⇒ DataGuardを自動FOかつ最大パフォーマンスモードで運用 34 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

35.

36.

RTOとRPO sec PXC MultiMaster ＲＴＯ：目標復旧時間 min Mysql Master/Slave Replica Oracle RMAN/expdp day MySQL Slave tar保存 Mysqldump XtraBackup day 36 Oracle DataGuard 自動FO min Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. sec RPO：目標復旧ポイント

37.

Backup手段(Oracle Zero Data Loss Recovery Appliance 37 スタンバイ機利用費用リカバリ時間(RTO) データロス(RPO) 数千万～数億円 ○ リカバリ（仮想Full image）1h～数日 ○ ほぼなし（リアルタイム REDO転送世代/遠隔地 ◎～○ なし(最大可用性ほぼなし（最大パフォーマンス遠隔地 ○ （Active DataGuard DataGuard （Replication) 数千万～数億円 ◎ 切替（6秒～数分） RMAN+ アーカイブログ￥0～1000万円台 nfsやNWスイッチ代 △ ○ リカバリ（full+差分）ほぼなし（アーカイブロ 3h～数日グのあるところまで expdp / impdb ￥0～1000万円台 nfsやNWスイッチ代 △ -△ Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. - 世代/遠隔地世代 -

38.

Backup手段(Oracle Zero Data Loss Recovery Appliance 費用リカバリ時間(RTO) データロス(RPO) 数千万～数億円 ○ リカバリ（仮想Full image）1h～数日スタンバイ機利用 ○ ほぼなし（リアルタイム REDO転送 ◎～○ ○ DataGuard 数千万～ ◎ なし(最大可用性（Active 数億円切替（6秒～数分）ほぼなし（最大パ（Replication) • バックアップやDGだけCloudに組むという選択肢もある DataGuard フォーマンス世代/遠隔地世代/遠隔地遠隔地 • Database Cloud Service (DBCS)でDGを組む △ ○ • Oracle Database Backup Service でRMANをとる 1Tあたり 4,752円/月￥0～1000万円台リカバリ（full+差分）ほぼなし（アーカイブロ世代 RMAN+ アーカイブログ expdp / impdb 38 nfsやNWスイッチ代￥0～1000万円台 nfsやNWスイッチ代 3h～数日グのあるところまで △ -△ Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. - -

39.

Backup手段(MySQL バックアップ運用データロス(RPO) Slave Replica ◎ 切替（数分以内） ○～◎ ほぼなし ○ バイナリログが転送されていれば遠隔地 - Slaveを停止してtarで固める ○ リカバリ3h～数日 △ ○ 最新バックアップ以降はロスト世代/遠隔地フルフル/差分/ 増分 Xtrabuckup mysqldump 39 スタンバ世代/遠隔地イ機利用リカバリ時間(RTO) ○ リカバリ（full+差分）3h～数日 Mysqldumpより高性能 △ リカバリ（full+差分）3h～数日 ○ ほぼなしバイナリログがあれば - 世代 ○ ほぼなしバイナリログがあれば - 世代 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. フル/差分/ 増分

40.

Backup手段(MySQL スタンバ世代/遠隔地イ機利用バックアップ運用リカバリ時間(RTO) データロス(RPO) Slave Replica ◎ 切替（数分以内） ○～◎ ほぼなし ○ バイナリログが転送されていれば遠隔地 - Slaveを停止してtarで固める ○ リカバリ3h～数日 △ ○ 最新バックアップ以降はロスト世代/遠隔地フル ○ ○ フル/差分/ リカバリ（full+差分）3h～数ほぼなし世代増分 Xtrabuckup 日 • Mysqlはあまり選択肢がないバイナリログがあれば Mysqldumpより高性能 Replicaとフルバックアップ。差分バックアップは出来るが使われない △ ○ リカバリ（full+差分）3h～数フル/差分/ • 有償ツールなどの市場もないほぼなし世代 mysqldump 日増分バイナリログがあれば • Yoku0825さんの資料が参考になる ↓ 40 MySQLのバックアップ運用について色々 https://www.slideshare.net/yoku0825/mysql-45256389 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

https://www.slideshare.net/yoku0825/mysql-45256389

41.

Backup Appliance製品（Oracleのみ Zero Data Loss Recovery Appliance DataDomain StoreOnce 41 ※シェアのある専用アプライアンスのみ NetApp SnapManager for Oracle ／ Cohesity などもある Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

42.

Backup Appliance製品（Oracleのみ Zero Data Loss Recovery Appliance DataDomain StoreOnce 42 • • • • • • RMANとシームレスな連携データ圧縮重複排除差分があったところだけ転送する WAN越しで性能が出る ※シェアのある専用アプライアンスのみ複数拠点、ネットワーク上にちらばるBackup機器統合に向く NetApp SnapManager for Oracle ／ Cohesity などもある Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

43.

44.

Backup/BCP の設計 • そのサービスにとって本当に必要なものは何かをしっかり議論する • RTO/RPOを過剰に設定すると大幅なコスト増 • RTO/RPO要件を満たしていないBackupは無意味 • どんどん伸びるBackup時間への対策 • • • • 44 手段や設定は適切か（フル、差分、パラレル時間帯 Applianceの活用 Backup先のストレージ性能は十分か Backup用ネットワークの性能は足りているか（共用、占有、1G/10G （1Gでは足りない要件が増えている Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

45.

46.

47.

48.

Backup/Recoveryトレーニング • 定期的なトレーニングは絶対に実施した方が良い • 全員が対応出来る状態にしておく • 手順書が有効であることをチェック • 障害対応のスピードと品質を上げるために必要障害時の対応は、かなり精神を削られるため、冷静かつ機械的に対処できるよう、常日頃から障害対応訓練を実施することが大切 48 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

49.

“B”のまとめ Backupの大事なポイント • システムのRTO/RPOを設定しよう • Buckup手段を知ろう • Buckup製品を使おう（Oracleのみ） • Backup/Recoveryトレーニングを定期的に実施しようデータロスト時のリスクをよく話し合った上で、そのサービス要件に合ったBackupの仕組みを、過不足ない形で提供する 49 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

50.

51.

ユーザー認証のルールサービスでDDLを実行しない場合（デフォルト No 51 ユーザーユーザー例用途備考 1 オブジェクト所持ユーザアプリケーション名_OBJ オブジェクトの所有者 Create session権限をつけない 2 アプリケーションユーザアプリケーション名_USR 1のデータ操作ユーザーオブジェクトを持たない。すべて1をGrant 3 サービス運用者個人アカウント社内アカウントと同じ名前にするメンテナンスやデータ確認時などに使用するユーザー DDLを実行できない 4 DBA作業者 SYS/SYSDBAなど OS認証でDBサーバから作業する DBA作業用 DDLの実行はこちらで Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

52.

ユーザー認証のルールサービスでDDLを実行する場合（希望者のみ No 52 ユーザーユーザー例用途 1 アプリケーション＆オブジェクト所持ユーザアプリケーション名_USR 2 サービス運用者個人アカウント社内アカウントと同じ名前にするメンテナンスやデータ確認時などに使用するユーザー 3 DBA作業者 SYS/SYSDBAなど OS認証でDBサーバから作業する DBA作業用備考フルコントロール Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. DDLを実行できる

53.

ユーザー管理が結構大変ユーザーが増減するケース No 1 53 ユーザーオブジェクト所持ユーザ増えるとき減るとき機能追加や、分割機能の削除 2 アプリケーションユーザ同上同上別アプリケーションの利用を許可する場合 3 サービス運用者サービス担当が変わるとき社員、業務委託の入社／異動サービス担当が変わるとき社員、業務委託の退社／異動 4 DBA作業者なしなし Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

54.

ユーザー管理が結構大変ユーザーが増減するケース No 1 54 ユーザーオブジェクト所持ユーザ増えるとき減るとき機能追加や、分割機能の削除 2 アプリケーションユーザ同上同上別アプリケーションの利用を許可する場合 3 サービス運用者サービス担当が変わるとき社員、業務委託の入社／異動サービス担当が変わるとき社員、業務委託の退社／異動 4 DBA作業者なしなしヤフープロパー社員の異動が多く業務委託の着任、離任も頻繁 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

55.

56.

57.

58.

アカウント管理ツール内製で機能を作り込み、アカウント申請/台帳管理といった、必要だが退屈な作業を自動化する申請、承認が発生する部分なので、社内のワークフローシステムと連携する必要がある内製は、継続的な開発コストはかかるが、社内システム連携や、こまかな自動化を実現するには都合が良い 58 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

59.

60.

監査弊社ではYID、顧客データ、クレジットカード情報等々セキュアなデータを多く扱っていて以下のルールを満たす監査運用を行っている • J-SOX内部監査財務報告に係るITシステムが、ユーザーに不利益な変更がなされたり、 •不正な処理が紛れ込んでいないか監視するためアクセス、データ更新、プ PCI-DSS ログラム変更の証跡をとる • 社内のDB運用ルール 60 システム例：財務システム、購買システム、売上管理システム等弊社の場合だとYDNのシステムもJ-SOX対象 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

61.

監査弊社ではYID、顧客データ、クレジットカード情報等々セキュアなデータを多く扱っていて以下のルールを満たす監査運用を行っている • J-SOX内部監査 • PCI-DSS カードデータを保存してビジネスをしたい会社は、PCI-DSSの認証を取り、セ •キュアにカードデータを取り扱っていることを示す必要がある社内のDB運用ルール DBでは、カードデータにアクセスする問い合わせを全て記録する 61 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

62.

63.

64.

監査の要件 • 原則として、全てのアクセスログを記録すること • • ワークフローに対応している(アクセス申請・承認）大量アクセスも捌ける(準リアルタイム監査) ただし、記録対象の機密の程度に応じ、ログの量、パフォーマンスを考慮して成功または失敗のどちらかのみ取得することを許容社内のワークフローに対応させるため自社開発 DB全てのアクセスログを取る！ 64 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

65.

統合監査モード 12cから統合監査モード(Unified Auditing)を選択できる標準監査監査ログがOSに、ファイルで出力される標準監査監査ログがDB内、 SYSAUX.unified_audit_trail表に書き込まれる監査 unified_audit_trail 監査ログ(file アクセス 65 アクセス Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

66.

統合監査モード 12cから統合監査モード(Unified Auditing)を選択できる標準監査監査ログがOSに、ファイルで出力される標準監査監査ログがDB内、 SYSAUX.unified_audit_trail表に書き込まれる秒間5000ログあたりで性能影響が出始める（標準監査だと秒間1000ログが限界監査 unified_audit_trail 監査ログ(file アクセス 66 アクセス Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

67.

68.

69.

70.

71.

72.

73.

プーリングセッション無し 1.ログイン監査log insert(login) 監査log insert(logoff) 2.ログオフえっ、監査って監査log insert(select) select操作でinsertが発生するの？ 4.Update操作監査log insert(update) キャッシュから結果返しても？？ DBの良いところが全部死ぬ・・・これでは性能も出ない 3.Select操作 73 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

74.

プーリング/キャッシュシステムあり監査log insert(login) 監査log insert(logoff) Pooling session開始/終了時のみ connection pooling 1.ログイン 2.ログオフ redis 3.1. Select操作 3.2. Select操作キャッシュありキャッシュなし 4.Update操作 74 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. 監査log insert(3.2. select) 監査log insert(4. update)

75.

プーリング/キャッシュシステムあり監査log insert(login) 監査log insert(logoff) Pooling session開始/終了時のみ connection pooling 1.ログイン 2.ログオフこの場合、監査ログは、 redis • 3.2. 3.1. select／4. updateの操作でしか出ない Select操作キャッシュ • プーリングありだと、ログインログオフは正確に取れない監査log insert(3.2. select) あり • キャッシュシステムだけで返した場合もキャッシュ 3.2. Select操作なし監査log insert(4. update) DBに到達してないため監査ログは出ない 4.Update操作 75 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

76.

77.

78.

監査ポリシーを刷新 DBのパフォーマンスを考慮して、一部取得しないことを許容ユーザー 78 ログイン/ログオフ失敗成功 Select成功失敗 Insert/update deleteほかの操作失敗アプリケーショ取得しないことを許容ンユーザ必須取得しないことを必須許容取得しないことを許容サービス運用必須者必須必須必須必須必須 DBA作業者必須必須必須必須必須必須 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. 必須

79.

監査ポリシーを刷新 DBのパフォーマンスを考慮して、一部取得しないことを許容ユーザーログイン/ログオフ失敗成功 Select成功失敗 Insert/update deleteほかの操作アプリケーショ取得しないことを許容ンユーザ必須取得しないことを必須許容取得しないことを許容サービス運用必須者必須必須必須必須 • DBアクセスのほとんどを占めるであろう、必須必須必須必須必須 DBA作業者アプリケーションアカウントの正常なselect操作のみを除外した DBの監査負荷を下げつつ、それ以外のアクセスは監査出来る 79 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved. 失敗必須必須必須

80.

“A”のまとめユーザー認証、アカウント管理、監査それぞれ一筋縄ではいかない • 社内のルール遵守 • 承認系システムへの連携 • セキュリティ組織との関わり、監査要件の理解と施行ヤフーでも長い間苦労してきましたし、現状もベストとは言いがたいです。セキュリティをしっかり担保しつつも、常に使いやすくなるよう改善を続けていくことが大事 80 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

81.

おわりにあらためて、今回は、Monitoring Backup BCP アカウント管理監査といった非機能部分について、DBREの業務領域と捉えヤフーのケースをご紹介しました。ご参考になれば幸いです実際DBAではない、非機能部分の開発や運用の比重が上がってきておりそれは今後より強くなっていくように感じていますそこで「DBRE」という職域が認知され、興味をもつ人が増えていくといいなと思います 81 Copyright © 2019 Yahoo Japan Corporation. All Rights Reserved.

82.