Sensu + Graphite を1年運⽤してみて #sensucasual

110 Views

September 26, 14

#sensucasual #Sensu #Graphite #監視システム #インフラエンジニア #スケールアウト

スライド概要

9/17 の Sensu Casual Talks #1 で発表された資料です。
http://www.zusaar.com/event/7607003

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

⾃自⼰己紹介 P2 • 名前：渡邉貴志 • 職業：インフラエンジニアシステム統括本部サイトオペレーション本部インフラ技術３部シスアド • 担当：サーバ（OS & ハード） • Linux, FreeBSD • ハイパーバイザ • 半導体メモリ • 最近の興味 • 不不揮発性メモリ（PCM, ReRAM, MRAM, ...) Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

導⼊入に⾄至るまで P4 • 2011年年：内製 IaaS をローンチ急増する HV の運⽤用に追われる⽇日々　↓ • 監視はカスタム Nagios を利利⽤用 • • • • • 設定が煩雑監視サーバが分散しており運⽤用が⾯面倒死活監視程度度しかできてない可視化できてない運⽤用してておもしろくない Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

導⼊入に⾄至るまで P5 • 2013年年：OpenStack へ切切り替え開始計画段階で HV 5000台ハイペースで投⼊入予定　↓ • このままだと死ぬ！ • 次世代監視サーバの選定　↓ • Sensu + Graphite に決定 Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

Sensu + Graphite にした理理由 • • • • • P6 クライアント追加時にサーバ設定必要なし Nagios 資産が流流⽤用できる描画 API がいいかんじどちらもスケールするアーキタイプ Chef 使えばセットアップが楽 • 既成 cookbook をカスタムして利利⽤用することに • portertech/chef-‐‑‒monitor • sensu/sensu-‐‑‒chef • subscriber と role が連動したり • LWRP が⽤用意されていたり Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

第1世代：構成 P8 Hypervisor x N sensu-‐‑‒client carbon-‐‑‒relay server x 1 All-‐‑‒in-‐‑‒one Sensu Server x 1 rabbitmq-‐‑‒server redis sensu-‐‑‒server carbon-‐‑‒relay graphite-‐‑‒web conetxt-‐‑‒hashing replication=1 carbon-‐‑‒cache server x 3 sensu-‐‑‒api Conﬁden'al :Discussion purpose only sensu-‐‑‒dashboard carbon-‐‑‒cache Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

第1世代：構成 P9 Hypervisor x N sensu-‐‑‒client All-‐‑‒in-‐‑‒one Sensu Server x 1 rabbitmq-‐‑‒server Xeon L5640 2.13GHz x 1 DDR3-‐‑‒1333 2GB x 3 redis sensu-‐‑‒server 300GB 15k SAS HDD x 4 (RAID1+0) Intel 5520 + IOH-‐‑‒36D sensu-‐‑‒api Conﬁden'al :Discussion purpose only sensu-‐‑‒dashboard carbon-‐‑‒relay server x 1 carbon-‐‑‒relay Sensu と同じ graphite-‐‑‒web conetxt-‐‑‒hashing replication=1 carbon-‐‑‒cache server x 3 Xeon E5-‐‑‒2630L 2.00GHz x 2 carbon-‐‑‒cache DDR3-‐‑‒1600 8GB x 8 300GB 10k SAS HDD x 4 (RAID1+0) Intel C602 Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

10.

11.

第1世代：運⽤用 P11 • sensu • LOG LEVEL = warn でローテ • max open ﬁles は増量量（server） • Checks：約10項⽬目 per 60sec • • • • セキュリティチェックリソースチェックサービス / RAID 監視 etc... • 通知：1⽇日1回 • メール：コミュニティのものをカスタム • 社内チャット：graphite グラフを添えて通知 Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

12.

第1世代：運⽤用 P12 • graphite • relay • スケール考えると consistent hash 1択 • cache • • • • HDD だと IO たりない tmpfs でまかなうことに（55GB） cron で定期的に永続化ジョブ実⾏行行リテンションはテストして調整・キャパプラ • aggregator • 使いづらいし使わないほうがいいらしい • 集約するなら別の⼿手段を検討すべき Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

13.

14.

第2世代：構成 P14 Hypervisor x N sensu-‐‑‒client carbon-‐‑‒relay server x 2 All-‐‑‒in-‐‑‒one Sensu Server x 3 rabbitmq-‐‑‒server redis sensu-‐‑‒server carbon-‐‑‒relay graphite-‐‑‒web conetxt-‐‑‒hashing replication=1 carbon-‐‑‒cache server x 3 sensu-‐‑‒api Conﬁden'al :Discussion purpose only sensu-‐‑‒dashboard carbon-‐‑‒cache Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

15.

第2世代：運⽤用 P15 • Sensu • All-‐‑‒in-‐‑‒one を3台並べてロードバランス • redis は1台のみにむける • rabbitmq のミラーリングは無し • 最初してたけどキューが謎に暴暴発するのでやめた • ただしクラスタは組む • Graphite • carbon-‐‑‒relay • 同⼀一構成を2台並べてロードバランス Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

16.

17.

18.

第3世代：構成 P18 carbon-‐‑‒relay server x 2 Hypervisor x N haproxy sensu-‐‑‒client graphite-‐‑‒web carbon-‐‑‒relay x N rabbitmq server x 3 sensu server x 30 carbon-‐‑‒relay x N redis server x 1 conetxt-‐‑‒hashing replication=1 redis dashboard server x 1 sensu-‐‑‒api Conﬁden'al :Discussion purpose only conetxt-‐‑‒hashing replication=1 sensu-‐‑‒server rabbitmq-‐‑‒server uchiwa carbon-‐‑‒cache x N gluster replication=2 carbon-‐‑‒cache server x 6 Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

19.

20.

第3世代：運⽤用 P20 • sensu • sensu-‐‑‒server on VM を並べてスケールアウト • スペックよりも数を重視スケールアウトしたときのキュー推移 • redis は現在冗⻑⾧長化中... • UI は uchiwa に切切り替え • v0.2+ になってずいぶん軽くなった Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

21.

第3世代：運⽤用 P21 • graphite • LB → haproxy で受けて relay プロセスに分散 • コア数に応じて daemon ⽴立立ち上げ（職⼈人芸） • carbon-‐‑‒relay = CPU bound • carbon-‐‑‒cache = IO bound • 管理理は megacarbon 利利⽤用（v0.10+） • ログが結構サイズをとるのでケアする必要あり • LOG_̲WRITES=false / LOG_̲CACHE_̲HITS = false • max open ﬁles 増量量必須 • whisper ではなく ceres (v0.10+) • whisper はスケールアウト時にやや難あり • メンテスクリプトを cron で回す必要あり Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.

22.

23.

まとめ P23 • sensu + graphite を1年年運⽤用してみて • ⼤大規模な監視で⼗十分つかえる • ⾃自動で監視登録されるのは⾮非常に便便利利 • どんどん投⼊入できる • フレキシブルで気軽に使える • とりあえず導⼊入して徐々にスケールできた • ただし CM ツール利利⽤用しないとつらいかも • 今後 • メールハンドラを改良良する • ⼀一定時間分を畳み込んで送信するようなもの • よいものあれば教えてください • carbon-‐‑‒cache にフラッシュデバイスとか Conﬁden'al :Discussion purpose only Copyright (C) 2012 Yahoo Japan Corpora'on. All Rights Reserved.