自動運転のMLOpsを支えるクラウドの仕組みについて

TIER IV AUGUST TIER /IV2023 自動運転のMLOpsを支える クラウドの仕組みについて 2023 / 08 / 01 TITLE

TIER IV Speaker 経歴 ~ 2020 .3 東北大学大学院 工学研究科 修士課程 機械学習を用いた流体シミュレーションの物理モデリング ~ 2022.9 ソフトバンク株式会社 MaaSアプリの開発、自動運転事業の企画およびPoCアプリの開発 Riki Ota MLOps Engineer 2022.10~ 株式会社ティアフォー Data/MLチームでMLOps基盤の開発・運用

TIER IV Agenda 1. Our Products 2. MLOps Workflow 3. Training Pipeline 4. Summary & Future Works

Our Products 01

TIER IV What is Autoware? Autowareは、LinuxとROSをベースとした、世界初のオープン ソース⾏動運転ソフトウェアで、⾏動運転を設計する上で必要な 全ての機能を有している。 ティアフォーはAutoware開発をその設立当初からリードし、安心 ・安全な自動運転の実装のために数々の実地⾏⾏を世界中のさ まざまな環境下で⾏っている。 AutowareはThe Autoware Foundation (AWF)の登録商標 30+ 20+ 500+ VEHICLES COUNTRIES COMPANIES

TIER IV Our platforms CARGO DELIVERY PASSENGER MOBILITY PERSONAL OTHER CARS APPLICATIONS OUR CUSTOMERS CAR MANUFACTURERS, SERVICE OPERATORS, TECH SUPPLIERS etc. Web.Auto Pilot.Auto Edge.Auto DEVOPS SOFTWARE PLATFORM AD SOFTWARE PLATFORM AD DEVELOPMENT KIT Autoware OPEN-SOURCE SOFTWARE 6

TIER IV Web.Auto Overview CI/CD PIPELINE SIMULATION 自動運転ソフトウェアのビルドとシミュレーションによる膨大なテストケースの 実行をサポートするクラウド基盤およびシナリオやマップの編集ツール 自動運転ログからのリアルなイベントの再生成やシナリオベースのシ ミュレーションおよび仮想センサーを利用したシミュレーション Build Test Dataset, ML Models Autonomous Driving Dev. Cycle Development Vehicle Data DATA MANAGEMENT 自動運転車両からの効率的なデータ収集と管理 および学習やテストのためのデータ検索 Maps, Scenarios Data Collection Deployment Firmware Images FLEET MANAGEMENT Operation REMOTE OPERATION 遠隔からの運転、車両状態のモニタリング 自動運転車両の管理およびスケジューリング、 データの事後分析、OTAアップデート

MLOps Workflow 02

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle

TIER IV ML Models in Perception Module Dynamic Object 3D Object Detection 2D Object Detection Perception Detection Tracking LiDAR based CenterPoint Camera based YOLOX Dynamic Object Prediction Traffic Light Detection Classifier Traffic Light Fine Detection YOLOX Classification MobileNet V2

TIER IV Domain Adaptation 幾何的なエリアで決まってくるもの Domain Gap ML Model Versioning Background Nominal Environment Object Weather/Time Rare Sensor Config A Common Area 3D Object Detection X Area v0.1.0 FT エリア固有で出現する Rare object Domain Gap センサー構成で決まってくるもの x-area/v0.1.0 Sensor Config Sensor System v0.2.0 FT Sensor Spec x-area/v0.2.0 Domain Gap sensor config environment object… v0.2.1 …

TIER IV MLOps Objectives 安全性および追跡可能性の担保 Training Common Model Evaluation 承認 Autonomous Driving Software + ML Model ML Model 新規ドメインへの短期間・半自動での適応 X Area v0.1.0 FT Deployment x-area/v0.1.0 v0.2.0 FT x-area/v0.2.0 実験の追跡 Requirements ● ● ● ● 実験の再現・追跡 リリースの承認管理 AD SWと組み合わせての評価 遠隔更新 Requirements ● ● ● ● 効率的なデータ検索 アノテーションツール連携 学習パイプライン データ生成手法などの活用 …

TIER IV MLOps Workflow Data Processing Data Collection Data Upload Tool (Bagpicker) Data Processing (OSS Tool) Training Annotation Annotation Deployment Evaluation Autonomous Driving SW Development Training Script Development 3rd Party Annotation Tool OTA ML Service Data Service Build Raw ROSBAG Dataset for Annotation Data Prep Training Annotated Dataset ML Model CI/CD Service Build Simulation

TIER IV MLOps Workflow Data Processing Data Collection Data Upload Tool (Bagpicker) Training Annotation Data Processing (OSS Tool) Annotation Deployment Evaluation Autonomous Driving SW Development Training Script Development Firmware Image更新 Annotationツール との自動連携 SSD接続で自動 アップロード 3rd Party Annotation Tool 訓練 + MLモデル 単体での評価 実験設定の管理 ML Service Data Service Build Raw ROSBAG メタデータ検索や 動画のプレビュー 自動運転ソフトウェアに 組み込んで評価 Dataset for Annotation Data Prep Training Annotated Dataset Annotationの 承認管理 ML Model モデルリリースの 承認管理 CI/CD Service Build Simulation OTA

Training Pipeline 03

TIER IV Training Pipeline/Model Management List of Training Jobs with Status & Metrics ML Service Trainig Script Build Annotated Dataset Data Prep Training ML Model Check Training Logs in Real Time CI/CD Service Manage Model Releases & CI/CD Pipeline Integration

TIER IV Training Pipeline System Architecture .webauto-ml.yml Source Code Upload Source Code Bucket Web.Auto ML Dashboard Web.Auto CLI Experiment Run Workflow Build Workflow Preprocessing Workflow CodeBuild SageMaker Training Workflow ML Service API Server SQS SageMaker Data Management Service ECR DynamoDB Annotated Dataset Dataset Bucket Artifact Bucket

TIER IV Experiment Reproducibility & Stage Reuse .webauto-ml.yml Experiment Reproducibility Source Code Bucket Run Report Experiment Run Workflow Reusable Build Workflow Reusable Preprocessing Workflow .webauto-ml.yml Training Workflow Stage Reuse Run Report Build Report Pre-Processing Report Training Report

TIER IV Technology Selection MLFlowや他のMLOpsサービス利用について SageMaker + StepFunction の選定理由 ● ● 運用・開発コスト ○ マネージドサービスの利用による運用コスト削減 ○ S3との連携の容易さ カスタマイズへの柔軟性 ○ インスタンスタイプの変更 ○ スポットインスタンスの利用 Experiment Workflow Build Workflow CodeBuild Preprocessing Workflow SageMaker Training Workflow SageMaker ● ● Web.Autoサービスとの連携 ○ 認証認可基盤との連携 ○ CI/CDサービス、Dataサービス 今後の利用 ○ 実験管理については活用可能性あり

Summary & Future Works 03

TIER IV Summary MLOps Workflow ● ● Data CollectionからDeploymentまで一気通貫でサービスを提供 Autonomous Driving SWと組み合わせた評価・リリース Training Pipeline ● ● ● GitHubと連携した学習コードど実験設定の管理 Build/Preprocessingの再利用による処理時間の削減 マネージドサービス活用した運用・開発コストを抑えた構成

TIER IV Future Works 機械学習モデルの高効率な改善を支えるクラウド基盤の作成 モニタリング/データ抽出 ● ● ● 自動運転のログを利用したモデル性能の評価とアラート 自動運転のログを利用したルールベースのデータ抽出 機械学習を利用した評価とデータ抽出 Model Monitoring Model Deployment Model Training R&Dチーム成果物の クラウドインテグレーション Pseudo Labeling Synthetic Data Generation

TIER IV Recruitment Information / Meetup Announcement MLOps (Cloud) Related Positions CI/CD Meetup 08/29(Tue.) 19:00- Hybrid Cloud CI/CD Pipeline MLOps Engineer ● ● 機械学習パイプラインの開発・運用 実験管理や性能モニタリングを含む機械学習の 基盤システムの開発・運用 Data Engineer ● ● ● 車両からのデータ収集・加工 走行に関する履歴・統計情報のAPI開発・運用 走行ログ・アノテーションなどのデータ検索 サービスの開発・運用

TIER IV CONTACT US https://tier4.jp/ Thanks Again !

• https://tier4.jp/