Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）LT①

104 Views

January 30, 17

#OpenStack #Ansible #DevOps #運用自動化 #オペミス

スライド概要

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

OpenStack関連セッション OpenStack Summit Barcelona 2016 参加報告神尾皓立見祐介 1 Ansibleによるおっちょこちょいの運用自動化高橋拓也 4年間、OpenStackをデプロイしてみた OpenStack on Kubernetes 北田駿也木下裕太 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

10.

つらかったこと • (^o^)。。( 本番環境にアクセスっと • (^o^)。。（Haproxyあがってないな、 $ sudo service haproxy start • (´・ω・`) < 高橋くん、それheartbeatだよ。。。 • (´・ω・`) < もうちょっと確認してから sudo は打とうね。。。 10 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

11.

つらかったこと • (^o^)。。( 本番環境にアクセスっと • (^o^)。。（Haproxyあがってないな、 $ sudo service haproxy start • (´・ω・`) < 高橋くん、それheartbeatだよ。。。 • (´・ω・`) < もうちょっと確認してから sudo は打とうね。。。はじめてのオペミス (運用業務開始2日目本番環境こわい対策: 本番環境では気を引き締めよう 11 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

12.

13.

14.

15.

16.

17.

つらかったこと • (^o^)。( • (^o^)。( • (^o^)。( 今度は慎重にやるぞー • (^o^) < • (´・ω・`) < あ！削除するnicを間違えた！！だんだん疲れてきたな。。 VMのnicを削除するぞ！事故 • 必要ないポートだったため事故とはならず • 対策: 目grepはやめてマシンにgrepさせる 17 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

18.

19.

20.

21.

つらかったこと • (^o^)。( • (^o^)。( • (^o^)。( このDB書き込みオペはミスできないな。。 • (´・ω・`) < 高橋くん、それslaveだよ。。。手順書からしっかりコピペして、２回チェックして出力結果も残したし、完璧だ！！ • 先輩社員の神業オペレーションにより、影響を残さず処理できた • 対策: hostnameをターミナルに出力し続ける • もしhostnameを見逃したら。。。 → あまり対策になってない 21 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

22.

23.

24.

25.

オペミスが起きないIFとは？ • オペミスが起きないIFとは • • • • 25 • • • • 実行のたびに状態が変化しない冪等性を保つ or 保つ仕組みがある作業内容が見える第三者によりチェックされた作業しか実行できないようにする入力が少ない固定の設定値はツールで保持する人力作業が少ない単純作業は自動化させる Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

26.

27.

28.

Ansibleによる運用自動化 • なぜAnsible? • • • • 28 実行のたびに状態が変化しない • • • • • • • • • 冪等性を保つ仕組みを持つ →作業実行に迷わない作業内容が見える作業内容をコード化して管理できるタスク実行が逐次処理となる →やり方のわからない作業がなくなる入力が少ない変数として値をplaybookに保持できる →どの変数を利用するかを入力として与えれば良い人力作業が少ない単純作業は自動化させる →エンターの叩かれる回数は確実に減る Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

29.

30.

31.

実行手順手順 1. クラスタのユーザー情報を読み込む 2. Clientをロードする 3. nova flavor-create を実行し、flavo を作成する 4. nova flavor-key を実行し、flavorの extra_spec(quotaなど) を追加する 31 実行コマンド 1. $ source cluster/adminrc 2. $ source /os/liberty/activate 3. $ nova flavor-create 2v-1024M40G auto 1024 40 2 4. $ nova flavor-key set drive_type=ssd Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

32.

実行手順手順 1. クラスタのユーザー情報を読み込む 2. Clientをロードする 3. nova flavor-create を実行し、flavo を作成する 4. nova flavor-key を実行し、flavorの extra_spec(quotaなど) を追加する 32 実行コマンド 1. $ source cluster/adminrc 2. $ source /os/liberty/activate 3. $ nova flavor-create 2v-1024M40G auto 1024 40 2 4. $ nova flavor-key set drive_type=ssd Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

33.

活用例 • OpenStackを操作してFlavorを追加する • • Flavor … インスタンスのスペック情報 OpenStackのクラスタ毎に追加するスペックが異なる • • SSD機のクラスタはｄisk quotaをゆるめたりとか想定されるオペミス • • 同名のフレーバーを作ろうとしてしまう extra_specの値を間違えて設定してしまう Ansibleでワークフロー化 33 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

34.

35.

36.

[beta]

活用例

vars/flavor-create.json
{
"flavor_name": "2v-1024M-30G",
"cluster_name": “cluster1"
}

36

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

37.

[beta]

活用例
add_flavor.yaml
- hosts: work
user: takutaka
roles:
- nova/flavor-create

vars/flavor-create.json
{
"flavor_name": "2v-1024M-30G",
"cluster_name": “cluster1"
}

$ ansible-playbook add_flavor.yaml –i hosts ¥
–-extra-vars “@vars/flavor-create.json”
37

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

38.

[beta]

活用例

flavor-create/tasks/main.yaml

- name: parse flavor name to machine spec
flavor2spec:
flavor: '{{flavor_name}}'
register: spec
- name: check flavor name
shell: |
nova flavor-list |grep {{flavor-name}}
register: result
failed_when: result not in [0, 1]
- name: create flavor
shell: |
nova flavor-create "{{flavor_name}}" auto ¥
{{spec.mem}} {{spec.disk}} {{spec.vcpu}}
when: result.rc == 1
- name: set extra_spec to flavor
shell: |
nova flavor-key "{{flavor_name}}" set ¥
"{{item.key}}"="{{item.value}}"
with_dict: "{{vars[cluster_name]}}"

38

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

39.

[beta]

活用例
Library/flavor2spec.sh
#!/bin/bash
name=`cat $1|awk -F'flavor=' '{print $2}'|awk -F' ' '{print $1}' `
vcpu=`echo $name|awk -F'-' '{print $1}'`
mem=`echo $name|awk -F'-' '{print $2}'`
disk=`echo $name|awk -F'-' '{print $3}'`
echo -n
{"name":"${name}","vcpu":"${vcpu}","mem":"${mem}","disk":"${disk}"
}

39

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

40.

[beta]

活用例

flavor-create/tasks/main.yaml

- name: parse flavor name to machine spec
flavor2spec:
flavor: '{{flavor_name}}'
register: spec
- name: check flavor name
shell: |
nova flavor-list |grep {{flavor-name}}
register: result
failed_when: result not in [0, 1]
- name: create flavor
shell: |
nova flavor-create "{{flavor_name}}" auto ¥
{{spec.mem}} {{spec.disk}} {{spec.vcpu}}
when: result.rc == 1
- name: set extra_spec to flavor
shell: |
nova flavor-key "{{flavor_name}}" set ¥
"{{item.key}}"="{{item.value}}"
with_dict: "{{vars[cluster_name]}}"

40

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

41.

[beta]

活用例

flavor-create/tasks/main.yaml

- name: parse flavor name to machine spec
flavor2spec:
flavor: '{{flavor_name}}'
register: spec
- name: check flavor name
shell: |
nova flavor-list |grep {{flavor-name}}
register: result
failed_when: result not in [0, 1]
- name: create flavor
shell: |
nova flavor-create "{{flavor_name}}" auto ¥
{{spec.mem}} {{spec.disk}} {{spec.vcpu}}
when: result.rc == 1
- name: set extra_spec to flavor
shell: |
nova flavor-key "{{flavor_name}}" set ¥
"{{item.key}}"="{{item.value}}"
with_dict: "{{vars[cluster_name]}}"

41

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

42.

活用例 Flavor-create/vars/main.yaml cluster1: 'quota:disk_write_bytes_sec': 1536000000 'quota:disk_read_bytes_sec': 1536000000 'quota:vif_outbound_average': 64000 'quota:vif_inbound_peak': 64000 'quota:vif_inbound_average': 64000 'quota:vif_outbound_peak': 64000 'drive_type': ssd cluster2: 'quota:disk_write_bytes_sec': 153600000 'quota:disk_read_bytes_sec': 153600000 'quota:vif_outbound_average': 64000 'quota:vif_inbound_peak': 64000 'quota:vif_inbound_average': 64000 'quota:vif_outbound_peak': 64000 'drive_type': sas 42 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

43.

確認項目が減少自動化前確認項目(11項目) 自動化後確認項目(2項目) フレーバー名フレーバー名 vcpu クラスタ名 Memory Disk quota:disk_write_bytes_sec quota:vif_outbound_average quota:vif_inbound_peak quota:vif_inbound_average quota:disk_read_bytes_sec quota:vif_outbound_peak drive_type 43 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

44.

運用手順も減少 1. 2. 3. 4. 5. クラスタadminrcを読み込む Clientをロードする手順書を元にコマンドを作成するコマンドを実行する追加するextra_spec分コマンド実行する (7回) 計 11手順 44 1. フレーバー名とクラスタ名をjsonに書き込む 2. Playbookを実行する計 2手順 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

45.

運用手順も減少 1. 2. 3. 4. 5. クラスタadminrcを読み込む Clientをロードする手順書を元にコマンドを作成するコマンドを実行する追加するextra_spec分コマンド実行する (7回) 計 11手順 1. フレーバー名とクラスタ名をjsonに書き込む 2. Playbookを実行する計 2手順脱オペミス完了！ 45 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

46.

自動化の懸念 • Playbookの信憑性は誰が担保する？ • • • 冪等性の保たれたPlaybookを書くベテラン運用者に確認してもらう検証環境で試す • 運用のための知識が身につかないのでは？ • • 46 運用の知識を伴わないとそもそもPlaybookが書けない空いたリソースで他の問題が解決できたらそれが一番 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

47.

48.

自動化の懸念 • Playbookの信憑性は誰が担保する？ • • • 冪等性の保たれたPlaybookを書くベテラン運用者に確認してもらう検証環境で試す • 運用のための知識が身につかないのでは？ • • • 48 運用の知識を伴わないとそもそもPlaybookが書けない Playbookを見れば、「正しいやり方」を身につけられる空いたリソースで他の問題が解決できたらそれが一番 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.

49.

50.

他の構成管理ツールとの比較実装言語設定言語冪等性モジュール言語エージェント Python Python ☓ python ☓ Capistrano Ruby DSL(Ruby) ☓ Ruby ☓ Chef Ruby DSL(Ruby) ○ Ruby ○ puppet Ruby 独自 ○ 独自 △ Ansible Python Yaml ○ なんでも ☓ Fabric 50 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.