Yahoo! JAPANのOracle構成-2017年版

1.5K Views

September 13, 17

#Oracle #データベース運用 #マルチテナント #ハードウェア構成 #Yahoo! JAPAN

スライド概要

この資料は、株式会社インサイトテクノロジー主催のイベント「db tech showcase tokyo 2017」にて、Yahoo! JAPANのOracle Databaseのここ2年間の取り組みをまとめたものになります

【イベントの概要】
■イベント名
db tech showcase tokyo 2017
■主催
株式会社インサイトテクノロジー
■共催
■イベントURL
http://www.db-tech-showcase.com/dbts/tokyo

【セッションの概要】
■日時
2017年 9月6日(水) 15:30～16:20
■タイトル
Yahoo! JAPANのOracle構成-2017年版

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

10.

11.

過去の発表資料 2014年 db tech showcase Exa並の性能を目指して手組みの PCI-SSD x InfiniBand構成を組んだ話＋＋ https://www.slideshare.net/techblogyahoo/exadata-oracle-db 11 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://www.slideshare.net/techblogyahoo/exadata-oracle-db

12.

過去の発表資料 Oracle Database Connect 2016 LT IBMのFlashSystemを採用、最大6nodeのRAC構成を組んでいることや、運用管理ツールの紹介 https://www.slideshare.net/techblogyahoo/yahoo-japan-oracle 12 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://www.slideshare.net/techblogyahoo/yahoo-japan-oracle

13.

14.

15.

16.

DBサーバの統合方式の比較集約密度分離性 ①ハイパーバイザによるサーバ仮想化 (IaaS型資源共有) ②DBインスタンス分割 ③DBマルチテナント (PaaS型資源共有) ④DBスキーマ分割 DB DBMS OS DB DBMS OS ハイバーバイザ物理サーバ DB DBMS OS DB DBMS DB DBMS OS 物理サーバ DB DBMS DB DB DBMS OS 物理サーバ DB スキーマスキーマ DB DBMS OS 物理サーバスキーマ • ハイパーバイザによって物理サーバ上に複数の仮想マシンを作り、その上で各DBごとにOSとDBMSを並行実行する方式低高高低 • 1つのOS上でDBごとのDBインスタンスを並行起動する方式 • 1つのDBMS上で、複数のDB（テナント）を実行する方式。各テナントには、隔離されたDBサーバ環境が仮想的に割り当てられる • 1つのDBインスタンス上で業務DBごとのスキーマを並行実行する方式 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフー株式会社／日本オラクル株式会社 Confidential 16

17.

DBサーバの統合方式の比較一つのコンテナDBで複数のプラガブルDBを動かす ②DBインスタンス分割 DB DBMS DB DBMS OS 物理サーバ DB DBMS ③DBマルチテナント DB DB DBMS OS 物理サーバ DB Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ヤフー株式会社／日本オラクル株式会社 Confidential 17

18.

19.

12cR2 MTA導入 • 検証判定項目検証内容 dbca silentによるPDB作成 DB構築 PDBのリモート・クローン初期化パラメータがこれまで同様のセッティング可能かリソース制御 CPU, Memory, I/O,process数などリソース制御が想定レベルで可能かバックアップ・リカバリ PDB毎の完全リカバリと不完全リカバリ異なる文字コードのPDBのバックアップ / リカバリ BCP 19 DataGuard/自動FailOverをPDB単位で組めるか Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

20.

12cR2 MTA導入 • 検証判定項目検証内容 dbca silentによるPDB作成 ○ DB構築 PDBのリモート・クローン初期化パラメータがこれまで同様のセッティング可能か △ リソース制御 CPU, Memory, I/O,process数などリソース制御が想定レベルで可能かバックアップ・リカバリ PDB毎の完全リカバリと不完全リカバリ ○ 異なる文字コードのPDBのバックアップ / リカバリ × 20 BCP DataGuard/自動FailOverをPDB単位で組めるか Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

21.

12cR2 MTA導入まとめ • 結論 1. 本番でのマルチテナント稼働は見送り • パラメータをPDBで個別に持てないものがある • CDBのメンテナンスや障害時は全PDBに影響がある等、DBごとの独立性に難がある • PDBレベルのDataGuard/自動FailOverは組めない 2. 開発環境には導入する • 開発環境はメモリ節約のメリット • PDBのクローンや引越しが容易 21 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

22.

23.

24.

25.

26.

HW構成（RAC）手組み構成のおさらい（2016～第4世代 IAサーバ • 第3世代と近い性能 • FCとIBM FlashSystemで高い安定性 FCスイッチ • 第3世代の不安定さに懲りて、安定を取った！ IBM FlashSystem • 値段は第3世代より高価 26 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

27.

28.

HW構成（RAC） • • RACは6ノード以上で構成し、追加リソースが必要な場合に備える負荷やサービスリリースに合わせてインスタンスを増やすことが容易インスタンスC Oracle RAC *12nodes インスタンスA インスタンスB インスタンスD nodeを3つ追加 28 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

29.

HW構成（Exa） • • Exadata 現在5台稼働中（下期に2台購入予定）サービス集約用途で計画に合わせ導入サービス 2010 2014 2015 2016 2017上半期 2017下半期 X-6 half ×2 YJ共通広告 X-2 Full X-4 Full EOSL移行決済 X-6 half×2 X-6 half ショッピング 29 X-6 half Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

30.

HW構成（Exa） • • Exadata 現在5台稼働中（下期に2台購入予定）サービス集約用途で計画に合わせ導入サービス 2010 2014 2015 2016 2017上半期 2017下半期 X-6 half YJ共通 X-2 はゴミだったが、選択肢がそれしかなかった X-2 Full X-4 Full X-4 広告は安定性が向上し、落ちなくなったがまだお高かった EOSL移行 X-6 で性能、価格、安定性のバランスが取れた決済 X-6 half×2 X-6 half ショッピング 30 X-6 half Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

31.

32.

HW構成第三世代性能可用性保守お値段 ○ × × ◎ • Exadata 第四世代X-6は、アプライアンス製品なので、保守が○ ○ ○ △ ○ • まるっと一括保守（ASR（Auto Service Request）は本当にラクです ○ ○ ×⇒○ Exadata X-6 ○ • 安定性、性能、価格も問題なし 32 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

33.

HW構成まとめ • 結論 1. 第3世代(PCI-virident)を年度内に捨てる 2. 第4世代(IBM FlashSystem)をニーズに応じて配置していく 3. 新しくDBクラスタを作る場合は、Exadataを入れてしまった方が、導入、構築、運用コストを下げることが出来る ※注ヤフーで組んだ場合の価格です Oracleはソフトウェアライセンスが高額で、とくにExaはストレージライセンスが追加で掛かります 33 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

34.

35.

36.

過去の発表資料 2015年 Meetup! JPOUGイベント Yahoo! ニューストピックスで導入した話プライマリサイトが破壊されても、30秒程度でBCPサイトを稼働できる https://www.slideshare.net/techblogyahoo/oracle-data-guard-48172431 36 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

https://www.slideshare.net/techblogyahoo/oracle-data-guard-48172431

37.

Data Guardとは • • • • Oracle Databaseのレプリケーション機能１つ以上のStandby DBを構成することが可能リアルタイムなデータ連携も可能データ保護、災害時のリカバリに適している Standby DB Standby DB Primary DB Standby DB 37 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

38.

Data Guardによるデータ転送 • Primary DBからRedoログが転送される • Standby Redoログからデータファイルへのリカバリが行われる Primary DB Standby DB DB Instance DB Instance Redo転送リカバリ Standby Redo Redo Data Files 38 同じデータ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Data Files

39.

SwitchOver • • • Standby DBをPrimary DBへ変更して利用可能 Standby Redoの更新ログは全てリカバリ可能最大可用性モードであればデータロスト無し Primary DB Standby DB DB Instance DB Instance Redo転送 SwitchOverは手動で行う DOWN DGMGRL> switchover Redo Data Files 39 Standby Redo 同じデータ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 全てのRedo を適用し DB Open Data Files リカバリ

40.

FailOver • Observerを導入する事で可能 • • • Primary DBを死活監視障害検知時にStandby DBへフェイルオーバー命令 Standby DBが自動でOpenされ、使用可能となる Primary Site 死活監視 Observer Standby Site Primary DB Standby DB DOWN 40 FailOver 命令 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Up

41.

42.

43.

44.

45.

46.

47.

48.

FailOver運用で大事なこと現実 AP Primary • • • DBの障害には対応出来ているが、DR（Disaster Recovery） Observer になっていない Primary Site Standby Site 拠点を跨いでしまうため、レイテンシが上がる FOしちゃったけど性能が出ず、やっぱり戻す PrimaryDOWN Standby DB DB 48 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Up

49.

50.

51.

FailOver運用で大事なこと理想 GSLB • • AP Standby AP Primary FOしてStandbyサイトに切り替わっても、同等のサービスが提供出来ること Primary Site Standby Site PrimaryDOWN DB 51 Observer Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Standby DB Up

52.

BCPまとめ • Good • • 現在10DBほどFSFOを組んでいる（ニュース、決済、ショッピング、Ymobileなど） FOのおかげで大事故にならなかったケースが年に2回くらいある • Bad • • • • 52 自動で切り替える（FSFO）には、プライマリ、スタンバイ監視Observerを構築する必要があるアプリケーションレイヤーがFOに追従できるように設計、運用しないと障害点が増えるだけ Standbyサイトは寝かせておくので、設備投資が2倍たまに暴発する（拠点ネットワーク障害、単一ストレージ障害） Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

53.

54.

55.

56.

57.

58.

バックアップ • 遠隔地に過去7日分のデータを保存することが出来ず、DataGuardで直近のデータのみ保全 cluster3 cluster2 DataGuardの使い方としては邪道 Backup用cluster cluster1 Redo NASをclusterごとに大量に買っていた RMAN Redo ClusterのVLAN内にNASを置かないと、バックアップが終わらない RMAN Redo RMAN 58 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

59.

60.

バックアップ • そこで「重複排除ストレージ」を導入する • • • • • • 60 重複排除(Dedupe)機能で実保存データ量が1/10～1/15 VTL（仮想テープデバイス）を複数作成しかも、WAN越しにVTLに保存可能 WAN越しでも重複排除が効くためネットワーク負荷が激減常にフルバックアップで保存（リストアが速くなる） 1日50T保存しても問題ナシ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

61.

62.

63.

64.

65.

66.

67.

68.

69.

70.

71.

統合監査モード 12cから統合監査モード(Unified Auditing)を選択できる cd $ORACLE_HOME/rdbms/lib make -f ins_rdbms.mk uniaud_on ioracle SQL> SELECT VALUE PARAMETER ---------------Unified Auditing 71 FROM V$OPTION WHERE PARAMETER = 'Unified Auditing'; VALUE ---------TRUE Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

72.

統合監査モード • • 監査ログがunified_audit_trail表に集約される（SYSAUXに保存）キャッシュが効く(※UNIFIED_AUDIT_SGA_QUEUE_SIZE) ⇒AUDITレコードをSGAキューに溜めておいて、しきい値を超えたらSYSAUXにフラッシュする秒間3000ログでもサービス影響なし ※12cR2から非推奨パラメータ（後方互換性は保持） 72 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

73.

監査ログの退避 • システム側の監査ログ回収がボトルネック → unified_audit_trailが溢れるとサービス停止のリスク 5分おきにunified_audit_trailを回収用テーブルに退避&パージ unified_audit_tral 73 退避&パージ回収用テーブル監査ログ回収 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 回収サーバー

74.

75.

76.

77.

78.

セキュリティ監査まとめ • • • セキュアなデータを運用する以上、アクセス監査の仕組みが必ず必要になる Oracle12cから使える統合監査モードは、監査処理のボトルネックを解消しており、3000qpsでも処理可能社内の要件を取込み、アクセス監査の仕組みを構築した • • 78 アクセス申請・承認機能大量アクセスをさばける Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

79.

80.

81.

82.

83.

Enterprise Manager13cR2 • • • 13cR2でUIがだいぶマシになった実用に耐えうるレベル ExaのHW監視も出来るため、Exaを運用するにはほぼ必須 EMだけなぜか13cにメジャーバージョンアップしてしまった。不評すぎて12c を切り捨てたんじゃないか説 83 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

84.

DBの監視レイヤー • DBの監視レイヤー OS監視 OS up,/down/Local disk / Syslog / login/ process インスタンス監視インスタンスup,down / tablespace / ORA-XXXX ASM監視 ASM disk space / diskgroup /ocr Storage監視 Storage 容量 / I/O / Network ※MRTGやHWベンダーの監視ツール 84 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

85.

DBの監視レイヤー • DBの監視レイヤー OS監視 OS up,/down/Local disk / Syslog / login/ process インスタンス監視インスタンスup,down / tablespace / ORA-XXXX 自作ツールで頑張っていた ASM監視 ASM disk space / diskgroup /ocr ←ASMだけはEM11gで監視していた Storage監視 Storage 容量 / I/O / Network ※MRTGやHWベンダーの監視ツール 85 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

86.

DBの監視レイヤー • DBの監視レイヤー OS監視 OS up,/down/Local disk / Syslog / login/ process インスタンス監視インスタンスup,down / tablespace / ORA-XXXX ASM監視 ASM disk space / diskgroup /ocr Storage監視 Storage 容量 / I/O / Network ※ExaはEMでストレージ監視できる 86 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

87.

DBの監視レイヤー • DBの監視レイヤー OS監視 OS up,/down/Local disk / Syslog / login/ process インスタンス監視インスタンスup,down / tablespace / ORA-XXXX 全レイヤーをEM1台で監視できる ASM監視 ASM disk space / diskgroup /ocr Storage監視 Storage 容量 / I/O / Network ※ExaはEMでストレージ監視できる 87 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

88.

パフォーマンス監視 • パフォーマンス監視をラクにしたい • APやDBの性能が落ちたら、AWR（Automatic Workload Repository）を取って改善箇所を見つけ、SQLチューニング、アプリケーションの改修を行うのが一般的だが・・・・DBA以外AWRを見る機会が無い ⇒AWRを誰でも見られるようにしたい・AWRを必要に応じて取得 ⇒定期的に自動作成し、レポーティングしたい 88 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

89.

パフォーマンス監視 • パフォーマンス監視をラクにしたい • APやDBの性能が落ちたら、AWR（Automatic Workload Repository）を取って改善箇所を見つけ、SQLチューニング、アプリケーションの改修を行うのが一般的だが・・・ AWR Warehouseを構築・DBA以外AWRを見る機会が無い ⇒AWRを誰でも見られるようにしたい・AWRを必要に応じて取得 ⇒定期的に自動作成し、レポーティングしたい 89 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

90.

91.

AWR Warehouse 導入 • Oracle DBの稼働状況の見える化の強化 • 全社Oracleのセルフサービス化推進 ※サービス側自身でDBの問題点に気がつけるようにする kibana セルフサービスで自己参照アプリチームA DB EMサーバ AWRデータアプリチームB BI Publisher 自動レポート (定型グラフ等) AWRデータ DB EM DB AWRデータメールサーバ DB 91 全社DBA 必要に応じて分析 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. メール配信 (自動)

92.

93.

94.

全体まとめ 12cR2 MTA バックアップクリティカルな要件がまだ解消出来ず、本番稼働は見送り。開発やステージングには積極的に利用する。改善要望はOracleに出して行く重複排除ストレージはバックアップ専用に設計されているだけあって、時間、容量、ネットワーク負荷の問題を一挙に解決してくれる HW構成セキュリティ・監査 Exadata価格がこなれてきたため、手組みの価格優位性が今時点では無く、安定性や保守の面から Exadataを導入セキュアなデータを扱う場合、監査がボトルネック要因となりやすいが、12c～の統合監査を使う事で、数千qpsの監査ログが出てもなんとかなる BCP 監視 DataguardでFSFOを組むことで、停止時間を極小にできるが、コストが非常に掛かる上、中途半端な BCPになりがち。何を守りたいのか、どこまでやるべきなのかを明確にしてBCP設計するのがオススメ 94 これまでEnterpriseManagerを活用出来ていなかったが、EM13cからUIが改善され使いやすくなった。これを機に、DB監視の全レイヤーをEMで監視することにした。さらにパフォーマンス監視をラクにするためAWRWarehouseを構築中 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

95.