Tier IV Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -
10.2K Views
October 28, 20
スライド概要
2020年8月19日に行われました「Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -」の資料です。
ティアフォーの関谷英爾と飯田祐希が自動運転システム開発やサービスにおいてどのようなクラウドシステムが構築され用いられているのかを余すことなく説明した資料で、映像もふんだんに盛り込まれています。
https://techplay.jp/event/789355
関連スライド
各ページのテキスト
Tier Ⅳ Tech Meetup #2 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 株式会社 ティアフォー 技術本部 関谷 英爾 飯田 祐希 August 19, 2020
CONTENTS 1. INTRODUCTION 2. Web.Auto 3. CI/CD 4. FMS & Drive
自己紹介 関谷 英爾 Eiji Sekiya 技術本部 Director of Engineering 業務内容 - Cloudシステム開発全般のマネジメント 経験 - Operations Research - データ分析 (ルール抽出) - データ基盤 (Hadoopエコシステム) - 機械学習強化学習 (強化学習、レコメンドシステム) - IoTシステム開発 Twitter: @eratostennis 『 Tier IV 』にJOINした理由 ● 産学連携での研究開発のチャレンジ ● 様々な技術スタック・バックグラウンドを持つメンバーとの融合 ● 自動運転市場の大きさとベンチャーの機動力 『 Tier IV 』でチャレンジしたいこと ● 高い技術力で自動運転の社会実装を ● サービス・技術に真摯なチームビルディング・環境構築
自己紹介 飯田 祐希 Yuki Iida 技術本部 Product Owner of FMS & Drive 業務内容 - FMS & DriveのProduct Owner - ラストマイルモビリティMilee Serviceの開発リード 経験 - 運行管理システム(Fleet Management System)の開発 - 遠隔監視・操縦システムの開発 - 自動運転地図基盤の開発 - 分散処理 (GPGPU / Hadoop) Twitter: @u_ki49 『 Tier IV 』にJOINした理由 ● 自動運転技術を用いて社会問題を本気で解決しようとしている ● Autowareを軸に様々な分野・業界を超えて新しいビジネスができる ● 多種多様な技術 (hardware, web, algorithm, ...)に触れることができる 『 Tier IV 』でチャレンジしたいこと ● 自動運転の価値をユーザまで届けたい (社会問題の解決 ) ● OSSであるAutowareを使って誰でも自動運転技術を使った新たなサービスを開発できるようにしたい
1. INTRODUCTION
自動運転の意義とは？ 世界で交通事故により年間 130万人が死亡 毎日ボーイング 787が約12機墜落している換算 自動車の運転による拘束 車社会のアメリカでは毎日の通勤に平均 1時間かかっている https://www.jasic.org/j/14_automated-driving/pdf/sympo5.pdf
自動運転がもたらす世界 管理区域での自動運転 工場内での自動搬送
ティアフォー概要 会社名 ：株式会社ティアフォー (Tier IV, Inc.) 設立 ：2015年12月 累計調達額：約175億円 開発拠点 ：東京オフィス（東京都品川区北品川） 名古屋大学 役職員数 ：グループ全体 220名以上 ※パートタイマー含む （内 ティアフォー単体 160名以上） 事業概要 ：自動運転システムの開発及びプラットフォーム事業 加藤真平 SHINPEI KATO 『 Tier IV 』に込めた思い ... 自動車業界はその登場以来 OEM（自動車メーカー）を頂点とし、 ティア1、ティア2..と呼ばれる下請け、孫請けの部品メーカーがそれ を支える業界構造で発展してきました。 自動運転の時代には、自動運転を「民主化」し、誰もがその発展に 貢献しながらメリットを享受してほしい ... その思いが IV（ Intelligent Vehicle ）に込められています。 FOUNDER ｜ CTO THE AUTOWARE FOUNDATION | FOUNDER & CHAIRMAN 東京大学 大学院情報理工学系研究科 准教授、名古 屋大学未来社会創造機構客員准教授、株式会社ティ アフォー 創業者兼 CTO、The Autoware Foundation 代 表理事。博士 (工学)。 2004年慶応義塾大学理工学部情報工学科卒業、 2008年同大学院理工学研究科 開放環境科学専攻 後 期博士課程修了。カーネギーメロン大学、カリフォルニ ア大学の研究員、名古屋大学大学院 情報科学研究科 准教授を経て、現職。 専門はオぺレーティングシステム、組込みリアルタイム システム、並列分散システム。
ティアフォーとは？ Who is Tier IV? ティアフォーは自動運転ディープテックである。 ディープテックとは「社会にインパクトを与える技術」 であり、具体的には以下の4つの要素の掛け合わせ を意味する。 1. 最先端の科学技術、または研究開発を基 礎とした技術がある。 2. 実現までに高いスキルと非常に多額の投 資額と長い時間がかかる。 3. 多くの場合、具体的な製品・サービスが見 えていない。 4. 成功した場合のインパクトが非常に大き く、破壊的ソリューションとなり得る可能性 を秘めている。 自動運転の価値を生み出し、最先端技術の研究開 発を進め、勝ち続けるオープンエコシステムを構築す る。 The DeepTech Disrupt Values. Create Values. Mission 存在意義 創造と破壊：だれもやったことのないやりかたで、だ れもやったことのないことをやる。既存の価値を壊 すのは繊細に。新しい価値を創るのは大胆に。 Intelligent Vehicles For Everyone. Vision 目指す姿 自動運転の民主化：自動運転に資するあらゆるテク ノロジーを開放し、様々な組織、個人がその発展に 貢献できる持続的なエコシステムを構築する。
ティアフォーの魅力 Differentiators 自動運転は戦国時代へ。Waymoを筆頭にAptiv、 Aurora、Cruise、Zoox、Argo AIなど、世界にはティ アフォーより規模の大きいプレーヤーが山ほどい る。 Autoware Ecosystem Autoware as a Platform Core Competency どうやって勝つのか？ ティアフォーの魅力は、世界連合を形成できるその 立ち位置にある。Autowareの可能性に賭けてくれ ている仲間とともに自動運転プラットフォームの Referenceになれるかどうか。世界に潜在する顧客 の心をつかむReferenceに。 オープンソースでポピュラリティを維持し、リスクマ ネジメントのノウハウとオールラウンドな技術力によ るAutowareのオープンエコシステムを提供する。 ティアフォーが有する競争戦略上の優位性は Autowareにほかならない。Autowareほど様々なECU やセンサー、車両に対応している自動運転ソフトウェ アは存在しない。ここからインテグレーションやリスク マネジメント、サービスプラットフォームなど多彩なプロ ダクトを展開していく。 Autoware as a Foundation Value Proposition ティアフォーが有する顧客戦略上の価値は無数の パートナーとのアライアンスによる多彩なプロダクトを 提供できることである。市街地でも公園内でも工場内 でも、Autowareというプラットフォーム上で世界中の 製品サービスを活用できる。これはWaymoなどには ないティアフォーの魅力である。
ティアフォー現在の体制 ティアフォー役職員数：160名以上 ※パートタイマー含む （エンジニア比率：約80％） ㈱ティアフォー ティアフォーX 最先端技術の 研究開発 Autoware Foundation 技術本部 事業本部 管理本部 経営企画室 Autoware開発 サービス開発 技術コンサル リサーチ 等 事業戦略策定 マーケティング＆セールス 事業開発 プロジェクト管理 業務提携 等 財務・会計・税務 総務・人事 営業事務 IT 等 株主総会・取締役 会・経営会議運営 本部横断事項 等 ※正社員・契約社員所属人数 戦略的 グループ会社 戦略的協業 パートナー 開発支援 海外顧客開拓 （地図） （AI） （システム） （AI/DL） （実証実験） （VR） （認識） Autowareの開発および普及 世界各地の約 50社が主導 してプロジェクトを推進
ティアフォーの実績 国内のさまざまな地域で多様なシナリオの実証実験を展開 2018年下期以降に ティアフォーが支援した実証実験 長野県飯田市 （VR連動） 愛知県一宮市 （5G） 仙台空港 （空港） 日本郵便 （物流） 東京都江東区 （商業施設） 豊田市 （道の駅） 東京都お台場 （臨海・観光） 東京都新宿区 （遠隔監視・保険） 大津市 （道の駅） 滋賀県草津市 （大学キャンパス） 山口県宇部市 （道の駅） 神奈川県横須賀市 （リサーチパーク） 東京都三宅島 （離島・観光） 大阪府 （鉄道車両基地） セントレア （空港） 大阪府堺市 （無線充電） 愛・地球博 記念公園 （公園） エコパ （スタジアム） 愛知県豊橋市 （テーマパーク） © 2019 Tier IV Inc. All rights reserved. これまでに国内で実施した実 証実験 累計実施回数 : 70回 18都道府県 50市区町村 事故件数 : ゼロ 走行場所 : （2019年末時点）
ティアフォーの実績 海外でのプレゼンスを拡大中 北米・アジアを中心に実証実験を支援 ティアフォーの海外活動（抜粋） 中国自動車技術研究センター（CATARC）が 主催する世界的な自動運転カンファレンスで 基調講演を実施。自動運転コンペティションで も完走を収める 米国運輸省に属する連邦道路庁が推進す る交通システム「CARMA」において、 Autowareが自動運転プラットフォームとして 採用決定。現在、実際の車両を用いた走行 実験を実施中 ピオリア 天津 テルアビブ 香港 バンコク アメリカ 台湾 ハノイ ASEANのイベントの一環として、バンコ クの工業団地でのゴルフカートデモを支 援。大臣など政府高官の試乗も実施 © 2019 Tier IV Inc. All rights reserved. シリコンバレー
ティアフォーの実績 2018年12月、グローバル規模でのAutowareの開発加速・普及促進を目指す 業界団体「The Autoware Foundation」の設立を主導
ティアフォーの実績 実証実験のみならずオールインワンでの自動運転プロトタイプ車両の構築も進め、 自動運転のユースケースの検証にも注力している
ティアフォーの実績 車両や制御システムに加えて、実用化にむけたサービスの整備も着実に推進中：技術 実証からサービス実証のフェーズへ
ティアフォーの実績 今後、東京五輪、タクシーサービスなど活動の場を広げていく予定 東京五輪の選手村走行自動運転バスに ティアフォーの自動運転システムを搭載 自動運転タクシーサービスの実証開始予定
Safety Report 自動運転技術の発展および実用化に貢献することを 目的として、弊社の自動運転に対するアプローチや 考え方、これまでの実証実験で得られた安全性に 関する知見、そして今後の課題と対策を集約した 「Tier IV Safety Report 2020」を公開
2. Web.Auto
2. Web.Auto Vision Tier IV Vision Intelligent Vehicles For Everyone. 自動運転に資するあらゆるテクノロジーを解放し、 様々な組織、個人がその発展に貢献できる持続的な エコシステムを構築する Web.Auto Vision Intelligent Vehicle Solutions For Everyone. IoT・Cloud技術を用いて、様々な組織・個人が簡単 に自動運転テクノロジーにすぐにアクセスでき、その 技術で抱えている課題を解決する基盤を提供する .
2. Web.Auto Tools Enable efficient high quality development 効率的で高品質な開発を可能に 1. Autoware開発の加速 実車試験をせずに複雑に絡みあう自動運転機 能の様々な動作確認ができます。 2. コミュニティでの開発サポート シナリオの共有をすることで、ワールドワイド規 模のコミュニティで同じ条件のテストが可能にな ります。 3. 品質の高い開発を実現 一回起きた問題をリグレッション項目としてシナ リオやログを登録することで問題の再発が防げ ます。
2. Web.Auto FMS & Drive 1. 自動運転のMaaSビジネスを加速させる Autoware FMSのConsoleにより最低限の運行 管理が可能。さらにAPIを利用しすることでMaaS ビジネスを始めることが可能です。 To make moving around more valuable with self-driving vehicles 自動運転車で人とモノの移動をより便利で豊かにする。 2. 自動運転システム(Autoware)を常に最新に Autoware FMS管理下にある車両は、セキュリ ティが担保され、常に最新のAutowareを利用す ることができます。 3. 安心・安全なオペレーションを実現 FMS Console, Driveなど自動運転車の運行を安 全に実施する上で必要な機能が備わっていま す。
2. Web.Auto Web.Auto体制 体制 結合会 約30人の体制 Backend 12名 Frontend 6名 Designer 1名 IoT, Edge 2名 Simulator 5名 Management 3名 普段は、基本的にチーム別にリリースを実施. 四半期に1度全員が集まって、図にあるようなプロセスを回す仕組みを一 通り回して全員で理解度を深めている. Webサービス開発会社に近い雰囲気. 幅広い年代のエンジニアがおり、バックグラウンドは自動 車メーカー出身者は少なく、Web関連会社からの転職が 多い 勉強会 チーム横断して定期的に勉強会を開催 チーム毎でも、課題解決型・論文調査などチームに合わせ た勉強会を適宜実施 引用: Tier IV Safety Report 2020
2. Web.Auto 技術本部連携 各Product/Serviceの開発ロードマップは、Product Ownerがリードする形で作成 実際にサービスを提供しているProjectチームからフィードバックや必要な機能要件を吸い上げ開発計画にのせるAutoware ↔ Web.Autoの開発は、Product Owner間で連携しチーム間で開発を進める 要求 /FB Product Owner Autoware (公道) Product Owner Autoware (私道) Product Owner FMS & Drive Product Owner Tools Projects Product Owners ・・・ Autoware Team System Team Web.Auto Backend Team FMS Team CI/CD Team ・・・
2. Web.Auto 開発プロセス Daily Scrum - Every morning - 2min per person - 10 min Sprint Review - 30 min/week Sprint Retrospective - YWT - 1 hour/week Backlog Refinement - 20 min per story - 1 hour Sprint 1 week Sprint Planning - 1 hour Release 2 weeks Regression Test ※ チーム毎に多少違いがあります
2. Web.Auto 技術スタック 人数が少ない中で採用技術が増えすぎないように、これまで利用したことのないクラウドサービスや言語を選ぶ際に技術選 定会を実施 Tools FMS & Drive 開発生産性・技術信頼性・コスト・セキュリティなどいくつかの項目で選定する技術を評価 Fargate Lambda Batch Glue Aurora DynamoDB Neptune Athena X-Ray IoT SageMaker Kinesis Firehose
2. Web.Auto Web.Auto Building Block Tier IV Other User Service layer Tools FMS & Drive Calls Vector Map Builder Scenario Editor CI Dashboard Go 他社システム Drive App FMS Console Tier IV Account Core Service layer FMS API Scenarios Maps Firmwares Stats Vehicles Monitor Control Scheduler Test Report Data CI Pipeline Planning Sim Log Sim E2E Sim Autoware.T4B Adapters Autoware Adapters Edge layer FMS Agent OTA Agent Monitor Agent Control Agent
ここからの話を理解するための 自動運転の仕組み
Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle
高精度地図の必要性 (NDT Scan Matching) PCD高精度地図 LiDARセンサーデータ
3. Tools
3. Tools E2E Simulator Simulatorの種類 E2E Simulator センサーデータ・車両の挙動など走行環境全体をシミュ レーションして検証するSimulator GPUなどリッチな環境が必要な代わりに様々なことを検証 可能 Log Simulator 事前に自動運転車の走行ログと物体や自己位置などの Ground Truthを用意しておき、システムに変更が行われた 際にセンサーデータを流し込み期待通りの動きをするかを 検証 Planning Simulator 物体検出は期待通りできることを前提に、Planning部分の アルゴリズムを中心に検証するSimulator E2E Simulatorよりもコスト低く・高速な検証が可能. Planning Simulator
3. Tools 評価の種類と役割分担 Log Simulation Planning Simulation E2E Simulation Field Test Sensing ○ ○ ○ Localization ○ ○ ○ Perception ○ △ (一部) ○ ○ Planning ○ ○ ○ Control △ (一部) ○ ○
3. Tools Simulationの実施方法 ODD (Operational Design Domain) ODD類型別ユースケース検証 所謂、リグレッションテスト 自車両以外の障害物や信号などの動きを定義し、事前に 定義されたシナリオを走りきれるかテストする 変数が多くテストケースが膨大になる ランダム検証 ある簡単なルールを条件に自車両以外を発生させて、事 故を発生させることなく長時間走れるかの検証 新たなユースケースの発見などに利用 引用: Tier IV Safety Report 2020
3. Tools CI/CD基盤の重要性 自動運転の開発サイクルの高速化 WebのAPIサーバーとは違い、様々な検証を行う必要があ り、全てを実施するのに多大な時間が必要となる 並列にシミュレーションを実施することでスループット改善 が必要 コスト効率アップの取り組み 膨大なテストケースを捌く必要があり、コスト効率をよくす る必要がある Scenario Editor Issues Scenarios Simulations FieldData Firmware Probe Data BAG OTA Update 検証結果の見える化 シミュレーションした結果が、単純なテストと異なり定量的 判断だけでは難しい場合がある 実施内容をすぐに走行シーンを映像と共に振り返り可能に し、深い洞察を得られるようにする必要がある Field Test & Data Collection
3. Tools CI/CD基盤の重要性 自動運転の開発サイクルの高速化 WebのAPIサーバーとは違い、様々な検証を行う必要があ り、全てを実施するのに多大な時間が必要となる 並列にシミュレーションを実施することでスループット改善 が必要 コスト効率アップの取り組み 膨大なテストケースを捌く必要があり、コスト効率をよくす る必要がある Scenario Editor Issues Scenarios Simulations FieldData Firmware Probe Data BAG OTA Update 検証結果の見える化 シミュレーションした結果が、単純なテストと異なり定量的 判断だけでは難しい場合がある 実施内容をすぐに走行シーンを映像と共に振り返り可能に し、深い洞察を得られるようにする必要がある Field Test & Data Collection
3. Tools CI/CD基盤のアーキテクチャ GitHub S3 DynamoDB ECR Map Code Base Docker Image Test Scenarios シナリオ単位 で分散 CodeBuild テスト分散 Lambda パラメータスイープ OTA Package Docker Image Batch Job を登録 スポットインスタンス上 で実行 Test Report Docker Image S3 ECR Batch DynamoDB
3. Tools Batch Computing Environment / ECS Cluster 工夫している点 ① EC2 Instances ECS Container Agent systemd-tmpfiles Docker Layer Cache ベースイメージはクリーンアップしないなどのECS Container Agentのチューニング. 敢えて、ベースイメージを中間レイヤーではなく、明示 的なイメージとして管理. ライフサイクル管理 EBS / Docker Layer Storage Docker Image Map Cache ホストマシンのボリュームに置くことで、Job間で再利 用. ディスクフルを避けるためにtmpfsを利用. ライフサイクル管理 Base Docker Image 保存 / 取得 tmpfs PCD Map Vector Map 保存 / 取得 Batch Job / ECS Task Batch Job / ECS Task Docker Container Docker Container
3. Tools 工夫している点 ② Delta Package Management (colcon-bundle) Spot Instance スポットインスタンスを利用することで、利用しない場合と比較しコス トを1/4に. 強制終了時はリトライ. Delta Package Management OTAを軽くするために、前回OTAパッケージとの差分管理. OTAアップデート時の通信量削減. Firmware依存処理のプラグイン化 開発が過渡期で複数のFirmware(ROS, ROS2など)の管理が必要. Firmware依存部分をプラガブルにし、開発・管理効率改善. 引用: AWS RoboMakerでROSアプリケーションのビルドとバンドルをおこなう
3. Tools CI/CD Dashboard (Prototype) 開発をサポートするツール群 CI/CD Dashboard CIを行うレポジトリやテストシナリオの管理や、テスト実施後の 結果確認、rosbagのダウンロードなどをサポート Scenario Editor シナリオ記述とシナリオ再生ができるツール. このままテストスイートとして登録することでリグレッション試験 項目に追加される. Vector Map Builder 高精度地図の編集ツール. 編集後はバージョン別で保存することが可能. Scenario Editor (Prototype)
論文調査① シナリオパラメータスイープ効率化 3. Tools チャレンジ Simulator以外の取り組み 実車検証とSimulator検証の比較効率化. 機械学習の学習自動化・評価可視化. コード品質の計測・可視化. R. Majumdar, A. Mathur, M. Pirron, L. Stegner, and D. Zufferey, “Paracosm: A language and tool for testing autonomous driving systems,” 2019. 評価方法の最先端調査・実装 論文調査② シナリオのオントロジー構築方法 シナリオ記述の工数削減のためのシナリオ自動生成、検証効 率を上げるためのコーナーケースの抽出など、論文調査と合 わせて応用方法の議論・プロトタイプ. R. Queiroz, T. Berger, and K. Czarnecki, “GeoScenario: An open DSL for autonomous driving scenario representation,” in Proc. 2019 IEEE Intelligent Vehicles Symposium, 2019, pp. 287–294.
4. FMS & Drive
4. FMS & Drive FMS & Drive (再掲) To make moving around more valuable with self-driving vehicles 自動運転車で人とモノの移動をより便利で豊かにする。 1. 自動運転のMaaSビジネスを加速させる Autoware FMSのConsoleにより最低限の運行 管理が可能。さらにAPIを利用しすることでMaaS ビジネスを始めることが可能です。 2. 自動運転システム(Autoware)を常に最新に Autoware FMS管理下にある車両は、セキュリ ティが担保され、常に最新のAutowareを利用す ることができます。 3. 安心・安全なオペレーションを実現 FMS Console, Driveなど自動運転車の運行を安 全に実施する上で必要な機能が備わっていま す。
4. FMS & Drive FMS & Drive による自動運転ビジネスの加速を実現 引用: Tier IV Safety Report 2020
4. FMS & Drive FMS & Drive による自動運転ビジネスの加速を実現 引用: Tier IV Safety Report 2020
4. FMS & Drive FMS & Drive による自動運転ビジネスの加速 - FMS Console 自動運転サービスの実現 - Drive Web.Auto API 自社MaaSシステムへの自動運転の適応 自動運転車両の管理を容易に 運行事業者 - 保険会社 安全な運行の実現 - App 自動運転車両の安全な見守り MaaS App 見守り システム オペレーター End Users ・・・ 利用 自動運転(Autoware)車両 オペレーター
4. FMS & Drive FMS Console 経路登録 FMS (運行管理システム) FMSを使い安全・安心な運行管理を実現 各車両の現在地、ステータス、スケジュール、走行経路等が確認可能で、車両に異 常があればすぐに気付き対応することが可能です。 自動運転車両モニタリング 現在地、走行経路、スケジュール、 Driveと同等のリアルタイムな映像も確認可能です。 異常があった際は、ポップアップと音声通知により瞬時に気付くことができます。 巡回経路指示 自動運転車両を使い巡回バスで運行したいユーザに向けて、コンソールから簡単に巡回す るバス停を指定し、スケジュールを登録することが可能です。 地図の更新履歴機能 Vector Map Builderから地図が更新された場合に、その地図の更新履歴が閲覧可能。 走行履歴閲覧機能 自動運転車両の走行履歴を振り返ることができ、どこでエラーが発生したかを確認し、その 時間のROSBAGをダウンロードすることが可能です。 FMS Console 走行履歴閲覧
4. FMS & Drive Drive 画面 Drive (遠隔監視・操縦) 遠隔地から自動運転車の状態を把握し、即時対応できる 最大8台のカメラが利用可能。 さらに、映像の解像度、配置を自由にカスタム可能に。 Drive 自動運転車両の周囲、車内 (乗客)の状態をリアルタイムな映像で把握し、有事の際は遠隔 地から対応することが可能です。 2020年度の遠隔 Lv.2の基準緩和もサポート。 乗客サポート機能 遠隔オペレーターから車載アプリを介し、音声通話による乗客サポートが可能。 車載アプリ
4. FMS & Drive Web.Auto API APIを使いMaaSビジネスに自動運転を統合 保有されているサービスに自動運転の監視・配車機能などをインテグレーションを 可能とするAPIを提供します。そうすることで、自動運転システムに依存するファー ムウェアや地図の管理をAutoware FMSに任せ、サービスに自動運転を統合する 部分に注力できます。 FMS API 配車指示、車両状態確認など、運行管理に必要な情報やコマンドを APIで提供。 Media API Driveで利用している映像、音声等のデータ通信を API切り出し標準化することで、お客様が 独自の遠隔サポートシステムを開発することが可能です。 MaaSビジネスへ注力 自動運転システムに依存するファームウェアや地図の管理、車両とのセキュアな通信を意 識することなくサービス開発が可能。 API仕様書
4. FMS & Drive 求められる要件 - 運行管理 - - リアルタイム通信 (映像・データ) - - 自動運転システム (Autoware)と密接に連携し、走行経路、走行スケジュールを管理する 地図データを管理・配信する 遠隔地から自動運転車両に搭載されているカメラ映像をリアルタイムに閲覧可能 自動運転システムに問題が発生した際に、遠隔地から自動運転車両を操縦することが可能 OTA (Over The Air) - CI/CDで安全性が担保された最新の Autowareに各車両のシステムをアップデートできる
4. FMS & Drive Building Blocks FMS & Driveは こちら マイクロサービスアーキテクチャを採用 Tools FMS & Drive Calls CI Dashboard Vector Map Builder Scenario Editor Go 他社システム Drive App FMS Console Tier IV Account FMS API Scenarios Maps Firmwares Stats Vehicles Monitor Control Scheduler Test Report Data CI Pipeline Planning Sim Log Sim E2E Sim Autoware.T4B Adapters Autoware Adapters FMS Agent OTA Agent Monitor Agent Control Agent
FMS
4. FMS & Drive AWS上で構築 FMS Architecture VPC ECS (Nodejs) http(s) SNS/SQS IoT Maps FMS API ECS (Django) PCDMapRegisty ECS (Django) ECS (Django) VectorMapRegistry ECS (Django) Vehicles Scheduler ECS (Django) RouteSearchEngine scheduler-step-end-no tificator Autowre Adapter Lambda (Python) update_current_ vehicle_point Lambda (Python) update_cuurent_ pose Lambda (Python) Lambda (Python) Lambda (Python) state_code_handler save_step Lambda (Python) get_waypoints_by_step _id start_vehicle Greengrass (Python) Web.Auto Agent Lambda (Python) get_vehicle_info
4. FMS & Drive Pick Up! Autowareの走行を管理する方法 Autowareの状態遷移 Autoware 起動 Initializing Vehicle Waiting For Route Route Planning Waiting For Engage Engage Driving Arrived Goal
4. FMS & Drive Pick Up! Autowareの走行を管理する方法 Autowareの状態遷移 Autoware 起動 Initializing Vehicle Route Waiting For Route Planning Waiting For Engage Engage Driving Arrived Goal Route FMS処理の流れ FMS Map Match スケジュール 実行 経路配信 発進指示 車両の現在 位置を把握 スケジュール登録 Route Search スケジュール 実行完了
4. FMS & Drive FMSにおける経路探索 HDMap Lanelet2
4. FMS & Drive FMSにおける経路探索 Autowareと同じ地図をFMSでも利用。 Laneレベルでネットワークを組み、GraphDBを利用して経路探索を実現。 Lanelet2 他のHDMap Laneのコスト、接続コスト等を考 慮 Lanelet Id: 3 Lanelet Id: 5 Lanelet Id: 4 Lane Network Goal Lanelet Id: 2 Lanelet Id: 1 Laneletの接続情報 edge.csv, vertex.csv for Neptune
4. FMS & Drive FMSにおける経路探索 Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle
4. FMS & Drive FMS FMSにおける経路探索 Route Search Engine Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle
4. FMS & Drive FMS開発時にTryしたこと - マイクロサービスアーキテクチャの採用 フィーチャーチームの体制を組む ドメイン駆動開発 クリーンアーキテクチャの採用 ※詳細は、 Tier IV Tech blog要参照: ドメイン駆動設計による運行管理システムのアーキテクチャの最適化
Drive
4. FMS & Drive Driveの要件 - 複数のカメラ映像を低遅延で配信できる(実際の運転席と同等の情報を遠隔から把握できる必要がある) - 車両(Autoware)の状態を監視できる - 遠隔から低遅延で操縦できる - 通信状況が悪い/切れた場合に、車両側で安全に停止できる - 複数台の車両の映像を複数人で監視できる(運行管理者や保険会社など複数のプレイヤーが出てくることを想定 ) - 映像を録画できる ※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
4. FMS & Drive Driveの要件 (法規制の面) 1949年ジュネーブ道路交通条約（抜粋） 第８条第１項 一単位として運行されている車両又は連結車両には、それぞれ 運転者が いなければならない。 第８条第５項 運転者は、常に、車両を適正に操縦し、又は動物を誘導することができな ければならない。運転者は、他の道路使用者に接近するときは、当該他の道 路使用者の安全のために必要な注意を払わなければならない。 第１０条 車両の運転者は、常に車両の速度を制御していなければならず、また、適 切かつ慎重な方法で運転しなければならない。運転者は、状況により必要と されるとき、特に見通しがきかないときは、徐行し、又は停止しなければなら ない。 道路交通法（昭和３５年法律第１０５号） SAEの定義する自動運転 (Automated Driving)のレベル 第７０条 車両等の運転者は、当該車両等のハンドル、ブレーキその他の装置を確実 に操作し、かつ、道路、交通及び当該車両等の状況に応じ、他人に危害を及 ぼさないような速度と方法で運転しなければならない。 ※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
4. FMS & Drive Driveの要件 (法規制の面) - 遠隔運転者席において、ディスプレイにテルテールが表示される等現行の 車両内の運転者席と同様に確認 ができること。 各操作装置の識別表示について、遠隔運転者席において、現行の車両内の運転者席と同様に容易に識別 されるものとなっていること、又は各操作装置を容易に識別できるよう十分に経験を積んだ運転者が操作等 を行うこと。 60m 20m 4m 2m 50m 0.9 m 4m 0.3m 0.3m 0.9 m 20m 0.3m 1m 0.3m 遠隔操縦に求められる視認範囲 ※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
4. FMS & Drive Driveの要件 (法規制の面) - 遠隔運転者席において、ディスプレイにテルテールが表示される等現行の 車両内の運転者席と同様に確認 ができること。 各操作装置の識別表示について、遠隔運転者席において、現行の車両内の運転者席と同様に容易に識別 されるものとなっていること、又は各操作装置を容易に識別できるよう十分に経験を積んだ運転者が操作等 を行うこと。 ※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
4. FMS & Drive リアルタイムな映像配信の実現 映像配信の仕組みとして、 - 圧倒的に低遅延(200 ~ 300ms程度) 回線の太さに合わせてビットレートが可変であること 多くのプラットフォームで採用されており汎用性が高いこと を理由にWebRTCを採用しています。 WebRTCの中で もSFUを採用
4. FMS & Drive Drive Architecture AWS上で構築
Web.Auto 採用事例
4. FMS & Drive eve autonomy 走行シーン eve autonomy 日々の運行ツールとしてのほか、搬送経路を作成するため の、作業員向けツールとして活用 FMS Console 運行開始前の日常点検、走行経路指定、車両の Emergency発生時の通知ツールとして、 現場作業員および、安全監視員が毎日利用しています。 Vector Map Builder Vector Map Builder 工場内の搬送経路を変更する場合の地図編集ツールとして、実際運行に携わる人間が使 用しています。 既存の磁気テープ線等によるものよりも柔軟に経路を変えられるメリットがあります。 Web.Auto Agent 工場内にあるシャッターや信号などのインフラ機器と連携する際の、 Autoware側のI/Fとして 活用されています。 Vector Map Builder
4. FMS & Drive Moricoro Park走行シーン Milee Service Web.Autoの各サービス、地図編集ツールを利用し活用し MaaSサービスを実現 Calls & Go Calls: オンデマンド呼び出しアプリケーション。デマンドバスのデモ時に利用しています。 Go: Mileeの車載アプリで Mileeの試乗車にいつも利用しています。 FMS Console Mileeの運行見守り、巡回路の設定など日々の運行ツールとして利用しています。 Drive Mileeのリアルタイムな遠隔監視・操縦に利用。最近は、 FMS Consoleからもリアルタイムな 映像が確認できるようになり、さらに安全・安心なオペレーションが可能になりました。 Vector Map Builder Autowareの走行及び FMS連携で必要な地図データを Vector Map Builderを利用して作成し ています。 Go 車載アプリ
4. FMS & Drive 各種実証実験・サービス Autoware x Web.Autoを用いて自動運転の社会実装を進めている. JPN Taxi車両を用いた自動運転実証@西新宿 モビリティサービスの実用化に向けた実証実験@愛知 県海部郡飛島村 Connected Support Center 損保ジャパンと協力して進めている自動運転車の見 守りセンター
最後に
オフィスが新しくなりました
[email protected] TierIV, Inc. © 2020 Tier IV, Inc. @tier_iv_japan Tier IV