NVIDIAエッジソリューション、Jetson最新情報
2.7K Views
July 24, 23
スライド概要
2023/7/13「自動運転におけるAIコンピューティング」
発表者：栃谷 宗央様（エヌビディア合同会社）
関連スライド
各ページのテキスト
NVIDIA エッジソリューション、Jetson 最新情報 エヌビディア合同会社 エンタープライズマーケティング 栃谷 宗央
NVIDIAとは？ Founded in 1993 Jensen Huang, Founder & CEO 27,000 Employees $27B in FY23
ゲーミング SHIELD GEFORCE エンタープライズ グラフィックス ワークステー ション GPU HPC & クラウド サーバー GPU DGX システム インテリジェントマシン DRIVE JETSON
デジタル トランスフォーメーションを加速する エッジ AI • • 6 交通と物流 • • • • 農業 1 • • • • 収穫用インテリジェント ロボット アシスタント AI 受粉機 BeeHome (蜂の住処)ロボット/AI 家畜健康管理 セレクト噴霧システム スマート農業マシン 交通フロー管理 デジタルサイネージ 疑わしい活動の監視 倉庫向け自律移動ロボット ヘルスケアと ライフサイエンス 5 • • • • • 4 工業・製造業 • • • • • • • 工業検査 知覚ロボット工学 マテリアル処理 工場のビデオ分析 デジタル ツインとセンサー フュー ジョン 予防保守 付加製造 スマート シティ • 2 • • • • スマート リテール 3 • • • • • • 自動精算 店舗トラフィック分析 在庫管理 購入者分析 デジタル サイネージ ソーシャル ディスタンス検出 外科用ロボット 医用画像アシスタント テレパソロジー 患者の健康モニタリング デジタル ヘルスシステム 交通分析 車両カウント ナンバープレート検出 監視と公共安全 スマート駐車システム
市場動向 リアルタイムの洞察と自律的な動作には、より多くのコンピューティングが必要 物流倉庫 医療向け移動機器 スマート カメラ ドローン 搬送ロボット AMR /UGV 単一機能デバイス <10 TOPS 自律マシン 40 TOPS 200 TOPS AI コンピュート パワー >275 TOPS
JETSON ファミリー エッジと自律マシン向け AI 次世代: Jetson Orin JETSON Orin Nano 4GB JETSON Orin Nano 8GB JETSON Orin NX 8GB JETSON Orin NX 16GB 20 TOPs (INT8) 40 TOPs (INT8) 70 TOPs (INT8) 100 TOPs (INT8) 7 - 10W 45mm x 70mm 7 - 15W 45mm x 70mm 10 - 20W 45mm x 70mm 10 - 25W 45mm x 70mm メインストリーム エントリー JETSON AGX Orin シリーズ 275 TOPs (INT8) 15- 60W 32GB/64GB 100mm x 87mm 自律マシン JETSON NANO JETSON TX2 NX JETSON TX2 series JETSON Xavier NX series 0.5 TFLOPS (FP16) 1.33 TFLOPS (FP16) 1.33 TFLOPS (FP16) JETSON AGX Xavier Series 21 TOPS (INT8) 32 TOPS (INT8) 5 - 10W 45mm x 70mm 7.5 - 15W 45mm x 70mm 7.5 - 15W* 50mm x 87mm 10 - 20W 8GB/16GB 45mm x 70mm 詳細の仕様は developer.nvidia.com/jetson *TX2i: 10-20W, $749 ** Jetson AGX Xavier Industrial 20W-40W, $1249 10 – 30W** 32GB/64GB 100mm x 87mm
NVIDIA JETSON ソフトウェア デファインデッド AI プラットフォーム エッジでの AI センサー フュージョン & 演算性能 ソフトウェアデファインド SDK、デザインツール、ライブラリー、GEMs エコシステム 専門知識、タイム トゥ マーケット センシング 動作 解釈 姿勢推定 言語認識 ジェスチャー認識 深度推定 パスプラニング 物体検出 アクセラレーテッド コンピューティング マルチメディア 人工知能 コンピュータービジョン JETSON COMPUTER JetPack SDK ∙ CUDA ∙ TensorRT ∙ TensorFlow ∙ ONNX ∙ ROS Autonomous Machines: The Future of AI | NVIDIA Jetson Software | NVIDIA Developer Jetson Ecosystem | NVIDIA Developer
NVIDIA JETSON ORIN モジュール Jetson Orin Nano 8GB / 4GB モジュール 40 TOPS (INT 8) 7 – 15W 45mm x 70mm エントリー Jetson Orin NX 16GB / 8GB モジュール 100 TOPS (INT 8) 10 – 25W 45mm x 70mm メインストリーム Jetson AGX Orin 64GB / 32GB モジュール 275 TOPS (INT 8) 16 – 60W 100mm x 87mm ハイエンド
JETSON AGX ORIN 前世代から最大 8 倍のパフォーマンス 3.7x CUDA 5.3 105 SpecInt Rate 259 205 140 137 1.4 32 Jetson AGX Xavier 1.5x DRAM BW 1.85x CPU INT8 TOPs FP32 TFLOPs INT8 TOPS 275 9x DLA GB/s 8x DL / AI 11.4 Jetson AGX Orin 64GB Jetson AGX Xavier Jetson AGX Orin 64GB Jetson AGX Xavier Jetson AGX Orin 64GB *MaxN performance Jetson AGX Xavier Jetson AGX Orin 64GB Jetson AGX Xavier Jetson AGX Orin 64GB
スーパーヒューマン 農場 Verdant Robotics Verdant Roboticsは、持続可能で高品質な農業を構築しています。空間、 時間、物理的に、これまで不可能であった高い精度、頻度、規模で農業を おこないます。 農場をサブミリメートルスケールでデジタル化、インデックス化し、新し い価値を生み出す活動をすることで、農村地域の生活を向上させながら、 食料生産方法の変革を支援しています。 Verdant 社は、効率性、土地管理、作物管理、および収益性を向上させる ために、農家が事業全体の再考をする支援をしています • 各植物のリアルタイム意思決定のためのデジタルツインを作成 • 化学物質の使用量を最大 95 パーセント削減 • RaaS モデルを通じて、より多くの農家が技術にアクセス • マイクロアレイ技術を用いた革新的な栽培方法の発見を可能 なぜ JETSON Orin? “ NVIDIA Jetson は、高性能なワークステーションのパワー、ソフトウェア、多機 能性をコンパクトなエッジフレンドリーパッケージで提供するため、私たちはどん なフィールドでも 24 時間 365 日稼働することができます。” —ローレンス・イバリア 氏、 Verdant Robotics 共同創業者 兼 最高技術責任者
自動採掘 トラック TAGE IDRIVER 採掘は自律型車両を商品化するための、最も急速に成長している市場の 1 つで す。Tage Idriver はスマートな採掘のための無人輸送ソリューションを提供し、 露天掘り鉱山向けに安全で環境にやさしい、効率的かつ経済的なサービスを提 供しています。LIDAR、カメラ、レーダーなどのセンサーを展開することで、 Tage の自律型採掘トラックは物体検出、意味的セグメンテーション アルゴリ ズムなどを使用して、採掘環境を正確に認識することができます。中核となる Jetson Orin プラットフォームは、データの前処理、モデルの推論、データの 後処理を GPU の高速化を利用して実行します。 • 採掘車両の周囲環境情報を収集するために、複数チャンネルのビデオ、 LIDAR データ、およびレーダーデータの処理を可能に • 雨や雪、高い塵の状況下でも正確な認識を実現するために、複雑なニューラ ルネットワークを展開 • Jetson の幅広いエコシステムにより、低電力要件と迅速な市場投入要求に 対応 なぜ JETSON? "露天掘り鉱山は、無人運転の適用先の最初のシナリオの一つとなっています。Tage Idriver が設計し た車両・地上・クラウドの連携した無人輸送システムは、顧客にフルスタックの無人輸送ソリュー ションを提供しています。NVIDIA が提供する高性能コンピューティングプラットフォームである Orin は、マルチセンサーフュージョンやディープラーニングをカバーするオンボード展開の技術的な 問題を解決し、Tage Idriver が鉱山地域における自律運転の分野で創造的かつ革新的な活動を続ける ことを可能にしています。" Haijie Wu 氏、最高技術責任者（CTO）
ラストマイルデリバリー Meituan Meituan (美団)の自律型 UGV は L4 レベルの自律性を持ち、付近を安全に 航行し、リクエストに応じてお気に入りのテイクアウトを自宅に配達しま す。 L4 ソフトウェアスタックの増加する計算リソース要件に対応するため、 美団は次世代の組み込み SoC である MADC(Meituan Autonomous Driving Computer) の社内開発を開始しました。NVIDIA の Orinモジュールのおか げで、MADC は現在、254 - 1016 TOPS と 20+Gbps のセンサーデータを サポートしており、2022 年 7 月以来テストが行われています。このソ リューションは以下の特徴を持っています： • さまざまなセンサーからの情報を集約し、安全性と効率性を向上 • 強力な CPU/GPU と高精度センサーを備えた L4 デリバリー UGV をサ ポート • バランスの取れた計算性能、信頼性、消費電力、コストを備えた次世代 の自律型UGV 設計を可能に • 広範な Jetson エコシステムと使いやすい NVIDIA ソフトウェアツール チェーンにより、技術のプロトタイプを迅速に開発 なぜ JETSON Orin? ”NVIDIA Orinは、強力な CPU/GPU と統合されたエコシステムを提供し、美団の自 律型配達用コンピュータの性能を大幅に向上させます。” — ファーシア・シア氏、美団自律配達部門責任者
自律型トラクター John Deere 農場では、労働力が常に課題となっています。気候パターンの変化により、労働 力は短期間のみ重要となります。数年前、ブルーリバーテクノロジーズは NVIDIA Jetson TX2 を搭載したコンピュータ ビジョン技術を使用する自律型車両の商業 的機会を探求しました。See & Spray マシンの初期の成功後、彼らはジョンディ アに買収され、新しい Jetson 製品でのイノベーションを続けています。2022年 の CES では、Jetson AGX Xavier を搭載した、全自律型トラクターが発表されま した。このトラクターには 6 組のステレオカメラが搭載されており、畑の各植物 についてのリアルタイムな管理判断が可能です。 • 燃料レベルや異常アラートなど、エッジデバイスからの重要な情報を伝え、農 家が畑でのすべてを細かくモニタリング • 360 度の障害物検知と距離計算が可能な 6 組のステレオカメラを搭載した自律 型トラクターを特徴とする • 各ピクセルを約 100 ミリ秒で分類し、自律走行と物体検出を行うために、深層 ニューラルネットワークを使用 なぜ JETSON? " 2050 年までに世界人口が約 100 億人に達すると予想される中、農家は世界の食料供給について非常に 大きな課題を抱えており、それを一人で解決することはできません。利用可能な土地と労働力の減少、 そして多くの要素を考慮する必要がある中で、自律性などの先進技術を展開し、拡大することが、ます ますスマートで進化し効率的な農業を構築するための鍵となります。私たちの完全自律型トラクターは、 エッジでの迅速かつ正確な画像分類のために2つの NVIDIA Jetson GPU を搭載しており、今年から農場 で活用され、農家が課題を乗り越え、成長する世界に対応する支援をします。" ジャミー・ヒンドマン氏、John Deere 最高技術責任者（CTO）
ISAAC SIM ロボットの設計、トレーニング、テストを仮想世界で ISAAC SIM Isaac Sim ROBOT APPLICATION • Isaac Sim のデータ レプリ ケータを使用して、さまざ まな環境を持つ大規模な合 成データを作成 ROBOT MODEL • プリインストールされたイ ンタラクティブなサンプル を使用して、ロボットのた めの新しいAIの機能を開発 • Isaac Sim は、ROS のサ ポートを提供 ROBOT IMPORTER SENSOR MODELS ROBOT UTILITIES SYNTHETIC DATA 2D/3D ROBOT INTERFACE URDF CAD ONSHAPE SHAPENET Contact sensors Stereo Camera RGBD Camera Lidar Ultrasonic Map Generator RMP Controller Differential Base Joystick Control 2D/3D BBBOX Semantic Seg Instance Seg Point Cloud Randomization ROS ROS2 ISAAC CUSTOM Simulation RTX Renderer HIL/ SIL SYNHETIC DATA WORLD MODEL OMNIVERSE Nucleus Connect Kit TAO
NVIDIA JETSON 開発者キット 開発を容易に、素早く市場へ Jetson Nano 開発者キット 0.472 TFLOPS 入門 Jetson Orin Nano 開発者キット 40 TOPS (INT8) 中級 Jetson AGX Orin 開発者キット 275 TOPS (INT8) 上級
ティアフォー製車載 HDR カメラを接続し 多彩なアプリケーション開発が可能 Jetson Nano 開発者キット GMSL2-USB3 変換 Jetson Orin Nano 開発者キット GMSL2-USB3 変換 Jetson AGX Orin 開発者キット GMSL2-MIPI 変換 接続キットおよびカメラドライバ (OSS) / マニュアルが公開されておりすぐに開発をスタートできる 詳細はTier IV ウェブサイトへ：https://sensor.tier4.jp/automotive-camera
アプリケーション事例 Jetson Nano 開発者キット MonoDepth Jetson Orin Nano 開発者キット Semantic segmentation + detection (LightNet) Jetson AGX Orin 開発者キット Object Detection (YOLOX on two DLA) 接続キットおよびカメラドライバ (OSS) / マニュアルが公開されておりすぐに開発をスタートできる 詳細はTier IV ウェブサイトへ：https://sensor.tier4.jp/automotive-camera