MySQL at Yahoo! JAPAN #dbts2018

OpenStack Trove を選択 • Database As A Service コンポーネント • 機能 • • • • • • 36 DBインスタンスの作成 DBアカウントの管理 DBの起動・停止リサイズ（VMスペック変更） etc… 対応しているデータストア • MySQL, MariaDB, Percona, Redis, Cassandra…

37.

カスタムした部分 (1) • WebUI • スクラッチで開発 • シンプルで使いやすいUI • 独自の業務要件 • 障害時の連絡先管理機能 • DBアカウントの棚卸し 37

38.

カスタムした部分 (1) • WebUI 38

39.

カスタムした部分 (2) • アカウント管理 • root DBアカウントの発行制限 • root のアクセス元制限 etc… 39

40.

Troveのメリ・デメ 40

41.

Troveのよかったところ • 初期の開発期間を短縮できた 41

42.

Troveのイマイチなところ • OpenStackは複雑で巨大 • Trove に盛り込めないカスタム • Trove の開発は最近停滞ぎみ 42

43.

Percona XtraDB Cluster マルチライター型 MySQL fork

44.

PXC 概要 • マルチライターのMySQL fork • • 用途 • • • • 44 Group Replication とほぼ同じビルドイン高可用性 Read Scalability Disaster Recovery スレーブも追加可 async slave async slave

45.

Multi Master , Multi Writer ? Client Client マルチマスターマルチライター

46.

マルチマスター • 従来のレプリケーションは非同期 • 同時書込すると・・・ • レプリケーション停止 • データ不整合 46

47.

不整合の具体例マスター２マスター１ UPDATE col1 = 1 UPDATE col1 = テーブル変更 2 Binlog 追記テーブル変更 Binlog 追記 OK OK col1=2 col1=1 ログ適用ログ適用 47 時間不整合

48.

マルチライター • 同時に書き込み可 • 楽観的ロックによる不整合回避 48

49.

いつものロック

50.

いつものロック • ロックが競合した場合、後続は「待つ」

51.

[beta]

PXCのロック
時間

行の値

トランザクション１ on ノード1

T1

-

mysql> BEGIN;
Query OK, 0 rows affected (0.00 sec)

トランザクション２ on ノード2

mysql> UPDATE grplt.tbl SET col1 = 10,
who_update = ‘A' WHERE pk = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
T2

-

mysql> BEGIN;
Query OK, 0 rows affected (0.00 sec)
mysql> UPDATE grplt.tbl SET col1 = 10,
who_update = ‘B' WHERE pk = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0

T3

A

T4

A

51

mysql> COMMIT;
Query OK, 0 rows affected (0.00 sec)

(ノード１の更新内容が伝わってくる）
mysql> COMMIT;
ERROR 1213 (40001): Deadlock found when
trying to get lock; try restarting transaction

52.

[beta]

PXCのロック
時間

行の値

トランザクション１ on ノード1

T1

-

mysql> BEGIN;
Query OK, 0 rows affected (0.00 sec)

トランザクション２ on ノード2

• 異なるノードでロックが競合した場合、「先勝ち」
mysql> UPDATE grplt.tbl SET col1 = 10,
who_update = ‘A' WHERE pk = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> BEGIN;
• T2デッドロックは必要に応じてリトライ
Query OK, 0 rows affected (0.00 sec)
mysql> UPDATE grplt.tbl SET col1 = 10,
who_update = ‘B' WHERE pk = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0

• LBをSingle-Primaryで運用すれば、従来と同じ挙動に
T3

A

T4

A

52

mysql> COMMIT;
Query OK, 0 rows affected (0.00 sec)

(ノード１の更新内容が伝わってくる）
mysql> COMMIT;
ERROR 1213 (40001): Deadlock found when
trying to get lock; try restarting transaction

53.

Multi Master , Multi Writer ? Client • • 不整合の考慮が必要片方にのみ書込、Active/Standby Client • 同時更新で不整合は起こらない • 容易に高可用性構成が組める

54.

Why Percona ? • 設計当時まだGRは未リリース • 自動データリカバリ • State Snapshot Transfer • 中身はxtrabackupをncで転送 54

55.

PXCの考慮事項 • ALTER TABLEで全更新ブロック • 要 pt-online-schema-change • LOCK TABLES, SELECT FOR UPDATE に制限あり • 更新性能はvanilla MySQLのほうが優れる • 巨大なトランザクションでメモリを食う 55

56.

課題と解決策 • 納期の大幅短縮・構築の手間削減 OpenStack • サービス同士のリソース競合をなくす • メンテナンス影響を最小限にしたい 56 マルチライター

57.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 57 チーム人数問合せ数 DB基盤構成 2世代

58.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 58 チーム人数問合せ数 DB基盤構成 2世代

59.

チーム構成 • 約１０名 59

60.

チーム内の役割分担 • サービス毎にDB担当をアサイン • サービス特徴やミッションを理解 60

61.

DBAもなるべく業務知識を • 例） • 11/11 → Yahoo! ショッピング • 台風 → Yahoo! 路線 61

62.

DBAもなるべく業務知識を • 例） • 11/11 → Yahoo! ショッピング • 台風 → Yahoo! 路線 62

63.

DBAもなるべく業務知識を • 例） • 台風 → Yahoo! 路線 • 11/11 → Yahoo! ショッピング 63

64.

チーム内の役割分担 • サービス毎にDB担当をアサイン「エスパー」する力 • DBAも業務知識を持つべき 64 大事

65.

開発者とDBAの役割分担 65

66.

利用者ができないこと • 管理者権限の利用 • レプリケーション設定などは DBAが実施 • DBサーバへのSSH

67.

利用者にまかせていること(1) • DDLの実行 • SQLレビューはしない • 「関所」になりたくない • 困ったときにヘルプ 67

68.

利用者にまかせていること(2) • 一部の設定変更は許可 sql_mode max_connections wait_timeout max_allowed_packet max_binlog_files charset Etc… 68

69.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 チーム人数 10名 69 問合せ数 DB基盤構成 2世代

70.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 チーム人数 10名 70 問合せ数 DB基盤構成 2世代

71.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 チーム人数 10名 71 20/week DB基盤構成 2世代

72.

• 開発者は1000〜2000人？ • 72 JIRA Softwareのチケットでやりとり

73.

JIRA 73

74.

チャットよりチケットが○ • 雑に質問されがち • 割り込みになる • 期待されるレスポンスが短い • 履歴が共有できない 74

75.

チケット優先度定義 75

76.

よくある問い合わせ • 接続できない系 • エラーでました系 76

77.

よくある問い合わせ • 接続できない系 • PaaS, FaaS などの登場により増加 • デバッグ用アプリの提供の必要 77

78.

よくある問い合わせ • エラーでました系 • • • 78 エラーの内容が知りたい人エラーの修正方法を知りたい人エラーが出て不安な人

79.

対、人間 • コスト大 • 79 リソースの半分ぐらい

80.

啓蒙活動 • 半年に１度セミナー • グッズを作ったり… 80 • 一部は公開してます

81.

DBAとうまくやりとりするコツ（DBAからのお願い) 81

82.

DBAとうまくやりとりするコツ 82 • 「やってほしい作業」でなく「目的」を伝える • DB利用者に見えているDBの状態はごく一部 • 経験・情報量の多いDBAに「手段」はまかせる

83.

MySQL at Yahoo! JAPAN 管理対象DB数 DBの規模 85%が30G以下 1600 チーム人数 10名 83 問合わせ数 20件/week DB基盤構成 2世代

84.

まとめの前に… 84

85.

Yahoo! JAPAN のミッション情報技術で人々や社会の課題を解決する 85

86.

Yahoo! JAPAN の強み 100を超えるサービスから得られる「マルチビックデータ」 86

87.

我々は、仲間を募集しています • 歓迎条件 • DBに精通したスキル • CI/CD環境下での開発や運用 • DBオペレーションの自動化 • 興味を持って頂いた方は、 twitter: @mita2 までご連絡下さい。 87

88.

Q&A

89.

まとめ

90.

Yahoo! JAPAN のMySQL基盤 • 多種多様なDBを効率良く扱うことにフォーカス • Tech Giantに負けないインフラを作ってます！

91.

Thank you

92.

明日のMySQL Session 時間セッション名 09:30- MySQL/PostgreSQL だけで作る高速あいまい全文検索システム稼働中プロジェクトにおけるMySQLバージョンアップ 13:3014:30- 15:3017:30- MySQL: 突然全てのスレーブのレプケーションが “unknown error reading log event on the master “ というエラーで停止したら 5.6から5.7へ、そして更なるサービスの可用性を目指して LINEのMySQLの運用について