276 Views
June 22, 23
スライド概要
2022年12月に開催された「IPv6 Summit in TOKYO 2022」での登壇資料です。Jストリームが、2022年3月に実施した自社CDN(Content Delivery Network)のIPv6対応について講演しました。実体験をもとに、IPv6対応において苦労した点や技術的成果をお話ししました。
1997年の設立以来、動画配信を主軸に事業展開。コーポレートメッセージ「もっと素敵な伝え方を。」を掲げ、テクノロジーを通じて世の中のコミュニケーションをよりよくすることを目指しています。 自社で保有・運営する独自のコンテンツ配信ネットワーク(CDN=Content Delivery Network)を活用した動画配信に加え、長年のノウハウを活かした動画の企画・制作・運用やWebサイト制作、システム開発、動画広告による収益化支援まで総合的なサービスとソリューションを提供。取引実績はメディア、大手企業をはじめ年間1,200社・10,000案件以上です。手がける技術領域は、ネットワークの物理層からアプリケーション層にわたり、日本屈指の大規模配信や最先端案件の実績も多数あります。 エンジニア向けオウンドサイト「Voice」公開中! https://voice.stream.co.jp/
IPv6 Summit TOKYO 2022 2022年12月16日(金) 14:30~15:00 講演2 CDNにおけるIPv6対応とコンテンツ配信2022 ~ CDN最新動向 ~ 株式会社Jストリーム 2017年9月8日 プロダクト企画部 N.T. 株式会社Jストリーム © J-Stream Inc. All Rights Reserved.
当社のCDN(CDNext)のIPv6対応 ▶2022年3月に本格対応 • どうして2022年? • 何が大変だったの? 弊社 サポートページ © J-Stream Inc. All Rights Reserved. 2
本日の流れ ▶概要 ◼CDNのIPv6対応の実際とよかった点/苦労した点 ◼コンテンツ配信2022:配信トレンドとIPv6 ▶目次 ◼コンテンツ配信の基本構成とIPv6対応 ⚫ IPv4とIPv6での視聴品質(QoE)の比較 ◼CDNのIPv6対応 ⚫ IPv6対応による構成変更 ⚫ CDNアプリケーションの改修 ◼コンテンツ配信2022 ⚫ マルチCDNの必要性 ⚫ IPv6対応とISPに優しい配信 (Open Cachingとは) ◼まとめ © J-Stream Inc. All Rights Reserved. 3
自己紹介 ▶名前:N.T. ▶出身地:山形県天童市 ▶所属:株式会社Jストリーム (AS24253) ◼ 新卒でJストリーム入社 ◼ プロダクト企画部 ▶仕事 • 動画配信プラットフォームやCDNの企画 • 動画配信のためのネットワーク構築、運用 • CDN(Content Delivery Network)の構築、運用 © J-Stream Inc. All Rights Reserved. 4
Jストリームの紹介 最先端の動画ソリューションをあらゆる企業に 動画を活用する際に必要となる制作・配信・運用の全てに対応し、 お客様のニーズに応じた総合的なサービスを提供しています。 ⚫ 1997年に世界初のストリーミング専業サービスプロバイダーとして創業 ⚫ 2001年IPO(東証マザーズ4308) 動画の全てに精通する 専門性 シェアNo.1の動画配信システム 高品質な配信ネットワーク 配信サービスで培った技術力と経験 制作・開発の専門的な体制 あらゆるニーズを実現できる 総合力 豊富な実績と経験に裏付けられた 信頼性 © J-Stream Inc. All Rights Reserved. クリエイティブから開発・運用まで エンドトゥエンドでリソース提供 きめ細やかなサービス・ソリューション 年間1,200社以上の実績 数多くのお客様に認められた サービス・サポート 5
CDN(Content Delivery Network)とは ▶CDNとはデータを効率よく最適に配信する仕組み ◼ CDNはContent Delivery Networkの略で、多数のコンテンツ配信サーバで 構築されたネットワークのこと。 コンテンツをCDNが一時的に保存(キャッシュ)し、オリジンサーバにかわってエンドユーザーへ配信する。 配信サーバにデータをキャッ シュしているため負荷がかかり にくい CDNの配信サーバにデータを 一時的に記憶(キャッシュ) 多数の配信サーバで構成したCDN エンドユーザーへ、最適経路 で効率的にコンテンツを配信 どうやってキャッシュ ヒットさせるかの工夫 ISP障害時は 他のISPへ誘導 © J-Stream Inc. All Rights Reserved. 6
コンテンツ配信の基本構成とIPv6対応 ▶オリジンサーバー ◼ CPが用意するオリジナルデータを配信するサーバ(オンプレ or クラウド) ◼ 動画配信プラットフォーム(OVP) ▶キャッシュサーバ ◼ エンドユーザーにコンテンツを配信するサーバ ◼ 1つのPoP(配信拠点)に複数台の物理サーバで構成されたキャッシュサーバ(クラスタ)を設置 ◼ PoPは自社ASネットワークに加えて、複数のデータセンター事業者のネットワーク内にも設置 Internet オリジンサーバ IPv6対応 CDN Cache 範囲? (AS拠点:24253) IX GSLB CDN Cache (Static拠点) キャッシュサーバ © J-Stream Inc. All Rights Reserved. Internet エンドユーザー 7
CDNを使うことで簡単にIPv6対応が可能 ▶CDN(キャッシュサーバ)がIPv6対応すればエンドユーザーとの通信もIPv6化できる ◼ エンドユーザーとの通信はキャッシュサーバが終端 ◼ オリジンサーバとキャッシュサーバ間はIPv4のままでもOK • CP/CDN にとっては、エンドユーザーの視聴品質(QoE)が向上する ※後ほどデータ紹介します • ISPにとっては、CGNへの投資削減になる オリジン ・ キャッシュ間 Internet オリジンサーバ エンドユーザー ・ キャッシュ間 CDN Cache キャッシュサーバ © J-Stream Inc. All Rights Reserved. Internet エンドユーザー 8
IPv4とIPv6での視聴品質(QoE)の比較 ▶視聴品質(QoE) ◼ 視聴している動画の美しさと再生中のストレスを表す指標を定義 ◼ 各指標をスコア化して評価 ▶今回提示するデータ:NPAW(Nice People At Work)社(国内限定で評価) ◼ OTT各社にQoE計測サービスを提供 ▶IPv6環境では明確にスコアが良い IPv6 IPv4 Internet Week 2022 / 11.22 C22 QoEからみたIPv6 ~ CDNおよびストリーミング事業者が語る~ ストリーミング事業者から見たIPv6 : 鍋島 公章(株式会社Jストリーム) 引用 © J-Stream Inc. All Rights Reserved. 9
CDNとしてのIPv6対応 ▶ネットワーク ◼ ルーターやスイッチ等のDual Stack化 ◼ 機械は対応しているのでアドレス取得、設定追加 ▶キャッシュサーバ ◼ サーバへのIPv6アドレスの付与 ◼ 配信用のVIPなどもIPv6アドレスを付与 - よかった点 IPv6対応に合わせて構成を見直し、 ネットワークをよりスケールアウトしや すい構成に変更できた ▶ロードバランサー ◼ GSLB(DNS)やLBのDual Stack化 ◼ GSLBではIPアドレスベースでのトラヒックコントロールも行っているため、 ロードバランスルールのIPv6対応も必要 ▶アプリケーション(CDNの機能のIPv6対応) ◼ アクセスログ処理 ◼ 国内外判定(IPアドレスベースのジオロケーション) ◼ ACLやセキュリティー機能 © J-Stream Inc. All Rights Reserved. - 苦労した点 IPv6用に再設計、再開発が必要だった 関連するシステムが多く工数がかかった 10
IPv6のメリットを生かして構成をシンプルに ▶IPv4はIPアドレスの節約が必要→LBを使ったアドレスの共有 ▶IPv6のメリットを生かしてネットワーク構成と管理をシンプルに ◼ IPv4とIPv6は独立 ー IPv4とは別で構成を再検討、LBを廃止 ◼ アドレス空間が広い ー IPアドレスの共有を廃止 よりスケールアウトしやすい構成に! VIP-1 VIP-1a VIP-2 VIP-2a GSLB(DNS) VIP-1 VIP-1 VIP-2 VIP-1 VIP-2 LB VIP-2 VIP-1b VIP-2b IPv4ではアドレス節約のため、LB を経由して同じアドレスを複数の サーバーで共用 → LBの負荷、管理が煩雑 © J-Stream Inc. All Rights Reserved. VIP-1c VIP-2c IPv6の場合はアドレス割り当てを 再設計し、アドレスの共有を廃止。 LBを経由しない構成に変更 → LB不要、管理のシンプル化 11
アプリケーションサービスは再設計、再開発が必要 ▶国内外判定(IPアドレスベースのジオロケーション)について ◼クライアントのIPアドレスが国内か海外かを判定する機能 ⚫ コンテンツの版権が国内限定の場合があり、メディア系のお客様が利用している場合が多い ▶対応内容 ◼IPv6対応のジオデータベースを用意 ⚫ 現在は複数の事業者がIPv6対応している ⚫ IPoE協議会:IPv6地理情報共有推進委員会に参画し、より正確な地理情報DBの構築にも協力 ◼サーバ内のジオIP判定モジュールのIPv6対応 ◼IPv6アドレスを処理(アクセス)した場合の負荷試験 ◼課金データの作成処理の改修(IPv6対応) ⚫ アクセスログ処理 ※アドレス長の拡大により処理能力が低下 © J-Stream Inc. All Rights Reserved. 12
当社のCDN(CDNext)のIPv6対応 ▶時間はかかりましたが、2022年3月から本格対応 • IPv6対応することによる視聴品質の向上 • 再設計によるシンプルでスケールアウトしや すい仕組みにリニューアル • アプリケーションは再設計、再開発が必要 だが、環境は整っている 弊社 サポートページ © J-Stream Inc. All Rights Reserved. 13
コンテンツ配信2022 ▶1. トラフィックの増加&ピーク性がより強まる傾向 ネットワーク中立性の議論 ISPに優しい配信 ◼ テレビ連動コンテンツ・見逃し配信(オンデマンドが中心) ◼ ライブ配信されるコンテンツが増え、ライブのピーク性が強まる傾向 1Tbpsを超える配信が日常的になってきた ▶2. 視聴品質(QoE)の担保 キャパシティー拡張のためのマ ルチCDNと視聴品質を元にした CDNセレクトシステム ◼ 動画コンテンツの高ビットレート化により、 よりよいネットワーク品質が必要 より視聴者の近くから配信するた めの仕組みとIPv6に対応したCDN → Open Caching ◼ 視聴者は、よりきれいな映像を、 すぐに(再生開始時間の短縮)、 途切れなく(バッファリング発生回数の抑制)見たい © J-Stream Inc. All Rights Reserved. 14
トラフィックの増加とCDNに求められる役割 ▶ トラフィックは増加傾向 ◼ トラフィックを受ける側のISPも負担増 ◼ 特にピークトラフィックについては対応が必須 ▶ 総務省:ネットワーク中立性に関する研究会を2018年から開始 ◼ インターネットトラフィックの現状 ⚫ 動画トラフィックがインターネットトラフィックの主流 ⚫ トラフィックの配信元として、OTT事業者が多くを占めている ◼ コスト負担の公平性 ⚫ プラットフォーマーによる、特定コンテンツやアプリの優遇 ⚫ 増加するトラフィックに合わせたISPへの負担の増加 CDN事業者やOTT事業者には、ネットワークの中立性を考慮した 設備投資やトラフィックコントロールが求められている 我が国のインターネットにおけるトラヒックの集計結果(2022年5月分) https://www.soumu.go.jp/main_content/000828247.pdf © J-Stream Inc. All Rights Reserved. 15
マルチCDNと通信品質を指標としたCDNセレクター • • • 複数CDNを特定の条件に基づき自動的に切替える事で配信品質を確保する仕組み 各種データをリアルタイム計測 ⁃ ⁃ CDNの稼働率、レスポンスタイム、スループット 動画の場合は、再生時のバッファリング数・時間、開始時間、エラー数等 • 実装方法 • • GSLBと同様に名前解決を用いてCDNを切り替える 動画プレイヤーに組み込み、セレクターのAPIをコールし動的に切り替える 視聴Player CDN振分けロジック (スピード、品質、 費用等)を設定 CDNセレクター サービス群 Openmix 設定ロジックに従い、 条件発生時にCDNを 自動的に変更 • ISP/CATV事業者間でもスコアに 差異がある 全般的にIPv6の方が有利 CDNサービス オリジン サーバー CDN1 CDN2 視聴Playerのバッ ファリング数・時間、 再生開始時間、エ ラー数等を把握 MUX Radar CDNの稼働率、レスポ ンスタイム、スルー プットを計測 © J-Stream Inc. All Rights Reserved. CDN3 16
もちろん IPv6対応 17
Open Caching の概要 • 特徴(いっぱいありますが) • 複数のCPが共有するキャッシュサーバ≒CDN • キャッシュサーバを設置したISP内に限定した配信が可能→ISPに優しい配信 • メリット:CP/CDN目線 もちろんIPv6対応 • IPv6への対応とキャッシュの分散配置による視聴品質(QoE)の向上、遅延の削減を図る • キャッシュ設備の共有によるコスト削減とカバレッジの拡大(共有することでより多くのISPにキャッシュを置ける) • 大規模コンテンツ配信におけるISPへのキャッシュ展開という特色(中立性の議論を盛り上げることとの両輪) • メリット:ISP目線 • キャッシュを置くことによる上位回線のコスト削減、ISP内のユーザーの視聴品質(QoE)向上 • キャッシュを共有化することによる、キャッシュサーバの有効活用(採算性の確保) →より多くのISPがメリットを感じてもらえる • デメリット • カバレッジが100%にならない=マルチCDNでの制御が必要 • キャッシュサーバー購入と保守をまとめて「調達」=今までのキャッシュとはビジネスモデルが異なる © J-Stream Inc. All Rights Reserved. 18
ISPに優しいコンテンツ配信と視聴品質向上の両立 ⚫ 視聴者の近くのキャッシュサーバから配信することで ネットワークの公平性を担保し、より高い視聴品質を保つ ⚫ IPv6対応 : 視聴品質(QoE)の向上 ⚫ サーバの分散配置 : 東京・大阪だけでなく地域にもサーバーを設置 ⚫ トラフィックコントロール : 地域ISP/CATVとIX経由でトラフィック交換を強化 ⚫ マルチCDN : 視聴品質(QoE)をベースにしたコントロール 構成概念図 広域負荷分散(GSLB) Open Cachingの共有 キャッシュサーバを用いる ことでIPv6に対応し、エン ドユーザーの視聴品質を向上 させることができる ISP内にOpen Cachingの共有キャッシュサーバを設 置することで、大規模配信と視聴品質の向上を実現 東阪+地域 IX インターネット CDN Cache (東阪・福岡拠点) 東販IXに加えて、福岡でも IX接続を実施し、地域ISP ともトラフィック交換中 CDN Cache (Static拠点) 地域ISP / CATV 大手ISP / キャリア © J-Stream Inc. All Rights Reserved. ピアリングしていないISPに 対しては、大手DC事業者内 にキャッシュサーバを設置 19
まとめ ▶当社CDNのIPv6対応について ◼IPv6の方がIPv4と比べると視聴品質(QoE)が向上 ◼CDNのIPv6対応箇所、よかった点、苦労した点の共有 IPv6対応時に設計を見直したことで、 シンプルでスケーラブルな構成に環境を刷新できた! ▶コンテンツ配信2022 ◼ピークトラフィックへの対応とマルチCDN化 ◼視聴品質を担保するためのIPv6対応とOpen Cachingの紹介 © J-Stream Inc. All Rights Reserved. 20