Tier IV Tech Meetup #1 - 世界初オープンソースの自動運転ソフトウェア「Autoware」ができること ＆ 開発秘話 -

Tier Ⅳ Tech Meetup #1 世界初オープンソースの自動運転ソフトウェア 「Autoware」ができること ＆ 開発秘話 株式会社 ティアフォー 技術本部 斉藤 之寛 堀部 貴雅 August 18, 2020

CONTENTS 1. INTRODUCTION 2. Technology 自動運転の意義とは Autowareから見た世界 自動運転がもたらす世界 Autowareのアーキテクチャー 自動運転の歴史 Vehicle & Sensors ティアフォーの実績 Sensing & Localization Perception Planning Simulation & Tests etc...

Speakers Takamasa Horibe Saito Yukihiro 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボティク スシステムのソフトウェア開発に従事。 前職ではソニー株式会社の研究開発本部に所属し、自律移動ロボティクスシス テムのソフトウェア開発に従事。 現在はTier IVにて、自動運転 OSS「Autoware」におけるアーキテクチャ設 計および認識モジュールの開発を担当 現在はTier IVにて、自動運転 OSS「Autoware」における計画および制御モジュー ルの開発を担当 Twitter : @yukky_saito Twitter : @taka_horibe

1. INTRODUCTION

自動運転の意義とは？ 世界で交通事故により年間 130万人が死亡 毎日ボーイング 787が約12機墜落している換算 自動車の運転による拘束 車社会のアメリカでは毎日の通勤に平均 1時間かかっている https://www.jasic.org/j/14_automated-driving/pdf/sympo5.pdf

• https://www.jasic.org/j/14_automated-driving/pdf/sympo5.pdf

自動運転がもたらす世界 管理区域での自動運転 工場内での自動搬送

ティアフォー概要 会社名 ：株式会社ティアフォー (Tier IV, Inc.) 設立 ：2015年12月 累計調達額：約175億円 開発拠点 ：東京オフィス（東京都品川区北品川） 名古屋大学 役職員数 ：グループ全体 220名以上 ※パートタイマー含む （内 ティアフォー単体 160名以上） 事業概要 ：自動運転システムの開発及びプラットフォーム事業 加藤真平 SHINPEI KATO 『 Tier IV 』に込めた思い ... 自動車業界はその登場以来 OEM（自動車メーカー）を頂点とし、 ティア1、ティア2..と呼ばれる下請け、孫請けの部品メーカーがそれ を支える業界構造で発展してきました。 自動運転の時代には、自動運転を「民主化」し、誰もがその発展に 貢献しながらメリットを享受してほしい ... その思いが IV（ Intelligent Vehicle ）に込められています。 FOUNDER ｜ CTO THE AUTOWARE FOUNDATION | FOUNDER & CHAIRMAN 東京大学 大学院情報理工学系研究科 准教授、名古 屋大学未来社会創造機構客員准教授、株式会社ティ アフォー 創業者兼 CTO、The Autoware Foundation 代 表理事。博士 (工学)。 2004年慶応義塾大学理工学部情報工学科卒業、 2008年同大学院理工学研究科 開放環境科学専攻 後 期博士課程修了。カーネギーメロン大学、カリフォルニ ア大学の研究員、名古屋大学大学院 情報科学研究科 准教授を経て、現職。 専門はオぺレーティングシステム、組込みリアルタイム システム、並列分散システム。

ティアフォーとは？ Who is Tier IV? ティアフォーは自動運転ディープテックである。 ディープテックとは「社会にインパクトを与える技術」 であり、具体的には以下の4つの要素の掛け合わせ を意味する。 1. 最先端の科学技術、または研究開発を基 礎とした技術がある。 2. 実現までに高いスキルと非常に多額の投 資額と長い時間がかかる。 3. 多くの場合、具体的な製品・サービスが見 えていない。 4. 成功した場合のインパクトが非常に大き く、破壊的ソリューションとなり得る可能性 を秘めている。 自動運転の価値を生み出し、最先端技術の研究開 発を進め、勝ち続けるオープンエコシステムを構築す る。 The DeepTech Disrupt Values. Create Values. Mission 存在意義 創造と破壊：だれもやったことのないやりかたで、だ れもやったことのないことをやる。既存の価値を壊 すのは繊細に。新しい価値を創るのは大胆に。 Intelligent Vehicles For Everyone. Vision 目指す姿 自動運転の民主化：自動運転に資するあらゆるテク ノロジーを開放し、様々な組織、個人がその発展に 貢献できる持続的なエコシステムを構築する。

ティアフォーの魅力 Differentiators 自動運転は戦国時代へ。Waymoを筆頭にAptiv、 Aurora、Cruise、Zoox、Argo AIなど、世界にはティ アフォーより規模の大きいプレーヤーが山ほどい る。 Autoware Ecosystem Autoware as a Platform Core Competency どうやって勝つのか？ ティアフォーの魅力は、世界連合を形成できるその 立ち位置にある。Autowareの可能性に賭けてくれ ている仲間とともに自動運転プラットフォームの Referenceになれるかどうか。世界に潜在する顧客 の心をつかむReferenceに。 オープンソースでポピュラリティを維持し、リスクマ ネジメントのノウハウとオールラウンドな技術力によ るAutowareのオープンエコシステムを提供する。 ティアフォーが有する競争戦略上の優位性は Autowareにほかならない。Autowareほど様々なECU やセンサー、車両に対応している自動運転ソフトウェ アは存在しない。ここからインテグレーションやリスク マネジメント、サービスプラットフォームなど多彩なプロ ダクトを展開していく。 Autoware as a Foundation Value Proposition ティアフォーが有する顧客戦略上の価値は無数の パートナーとのアライアンスによる多彩なプロダクトを 提供できることである。市街地でも公園内でも工場内 でも、Autowareというプラットフォーム上で世界中の 製品サービスを活用できる。これはWaymoなどには ないティアフォーの魅力である。

ティアフォー現在の体制 ティアフォー役職員数：160名以上 ※パートタイマー含む （エンジニア比率：約80％） ㈱ティアフォー ティアフォーX 最先端技術の 研究開発 Autoware Foundation 技術本部 事業本部 管理本部 経営企画室 Autoware開発 サービス開発 技術コンサル リサーチ 等 事業戦略策定 マーケティング＆セールス 事業開発 プロジェクト管理 業務提携 等 財務・会計・税務 総務・人事 営業事務 IT 等 株主総会・取締役 会・経営会議運営 本部横断事項 等 ※正社員・契約社員所属人数 戦略的 グループ会社 戦略的協業 パートナー 開発支援 海外顧客開拓 （地図） （AI） （システム） （AI/DL） （実証実験） （VR） （認識） Autowareの開発および普及 世界各地の約 50社が主導 してプロジェクトを推進

ティアフォーの実績 国内のさまざまな地域で多様なシナリオの実証実験を展開 2018年下期以降に ティアフォーが支援した実証実験 長野県飯田市 （VR連動） 愛知県一宮市 （5G） 仙台空港 （空港） 日本郵便 （物流） 東京都江東区 （商業施設） 豊田市 （道の駅） 東京都お台場 （臨海・観光） 東京都新宿区 （遠隔監視・保険） 大津市 （道の駅） 滋賀県草津市 （大学キャンパス） 山口県宇部市 （道の駅） 神奈川県横須賀市 （リサーチパーク） 東京都三宅島 （離島・観光） 大阪府 （鉄道車両基地） セントレア （空港） 大阪府堺市 （無線充電） 愛・地球博 記念公園 （公園） エコパ （スタジアム） 愛知県豊橋市 （テーマパーク） © 2019 Tier IV Inc. All rights reserved. これまでに国内で実施した実 証実験 累計実施回数 : 70回 18都道府県 50市区町村 事故件数 : ゼロ 走行場所 : （2019年末時点）

ティアフォーの実績 海外でのプレゼンスを拡大中 北米・アジアを中心に実証実験を支援 ティアフォーの海外活動（抜粋） 中国自動車技術研究センター（CATARC）が 主催する世界的な自動運転カンファレンスで 基調講演を実施。自動運転コンペティションで も完走を収める 米国運輸省に属する連邦道路庁が推進す る交通システム「CARMA」において、 Autowareが自動運転プラットフォームとして 採用決定。現在、実際の車両を用いた走行 実験を実施中 ピオリア 天津 テルアビブ 香港 バンコク アメリカ 台湾 ハノイ ASEANのイベントの一環として、バンコ クの工業団地でのゴルフカートデモを支 援。大臣など政府高官の試乗も実施 © 2019 Tier IV Inc. All rights reserved. シリコンバレー

ティアフォーの実績 2018年12月、グローバル規模でのAutowareの開発加速・普及促進を目指す 業界団体「The Autoware Foundation」の設立を主導

ティアフォーの実績 実証実験のみならずオールインワンでの自動運転プロトタイプ車両の構築も進め、 自動運転のユースケースの検証にも注力している

ティアフォーの実績 車両や制御システムに加えて、実用化にむけたサービスの整備も着実に推進中：技術 実証からサービス実証のフェーズへ

ティアフォーの実績 今後、東京五輪、タクシーサービスなど活動の場を広げていく予定 東京五輪の選手村走行自動運転バスに ティアフォーの自動運転システムを搭載 自動運転タクシーサービスの実証開始予定

Safety Report 自動運転技術の発展および実用化に貢献することを 目的として、弊社の自動運転に対するアプローチや 考え方、これまでの実証実験で得られた安全性に 関する知見、そして今後の課題と対策を集約した 「Tier IV Safety Report 2020」を公開

2. TECHNOLOGY

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle

Vehicle & Sensors

Perception Planning Scenario Dynamic Object Detection Tracking Scenario Selector Prediction Control Mission Lane Driving Traffic Light Detection Parking Etc. Classifier Localization Sensing Sensors Map Data Vehicle Interface Vehicle

LiDAR Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16), Hesai (Pandar 20P, Pander 40P, Pandar 64), Ouster (OS-16, OS-64), Robosense (RS-32), Leishen, Innoviz, Omron

LiDAR Velodyne (VLS-128, HDL-64E, VLS-32C, HDL-32E, VLP-16), Hesai (Pandar 20P, Pander 40P, Pandar 64), Ouster (OS-16, OS-64), Robosense (RS-32), Leishen, Innoviz, Omron

Camera IMX490 - LEDフリッカー対策 - HDR 一般的なカメラ

センサー同期 Camera-LiDAR LiDAR-LiDAR LiDARの回転タイミングに合わせてカ メラのシャッターを切る 回転タイミングの同期 複数LiDARによる干渉 Camera x6 + LiDARによる360度センシング

Sensing & Localization

NDT Scan Matching PCD高精度地図 LiDARセンサーデータ

Sensing & Localization Localization Sensing Map Pose Estimator Points Preprocessor LiDAR Ego Points Remover GNSS GNSS Driver IMU IMU Driver Vehicle Data Vehicle Distortion Correction Outlier Filter Concat Crop Range Down Sampler NDT Scan Matcher Model Prediction Pose Initializer Twist Estimator IMU wheel velocity fuser Pose Twist Fusion Filter Delay Gate Mahalanobis Gate Measurement Update Vehicle Interface Localizer Diagnostics Safety Diagnostic Node Localization System Diagnostic Node

Sensing & Localization Localization Sensing Map Pose Estimator Points Preprocessor LiDAR Ego Points Remover GNSS GNSS Driver IMU IMU Driver Distortion Correction Outlier Filter Concat Crop Range Vehicle NDT Scan Matcher Model Prediction Pose Initializer Delay Gate Mahalanobis Gate Twist Estimator 歪み補正なし Vehicle Data Down Sampler Pose Twist Fusion Filter 歪み補正ありMeasurement IMU wheel velocity fuser Update Vehicle Interface Localizer Diagnostics Safety Diagnostic Node Localization System Diagnostic Node ・点群歪み補正 LiDARの点群1つ1つに観測時刻を埋め込み、 IMUを用いて車両移動による観測の歪みを補正 NDT EKF NDT EKF

Sensing & Localization Localization Sensing Map Pose Estimator Points Preprocessor LiDAR Ego Points Remover GNSS GNSS Driver IMU IMU Driver Vehicle Data Vehicle Distortion Correction Outlier Filter Concat Crop Range Down Sampler NDT Scan Matcher Model Prediction Pose Initializer Twist Estimator IMU wheel velocity fuser Pose Twist Fusion Filter Delay Gate Mahalanobis Gate Measurement Update Vehicle Interface Localizer Diagnostics Safety Diagnostic Node ・Pose / Twist インターフェース 研究開発が盛んに行われている他モジュールとの 結合を容易に行えるように、位置と速度情報を 分離して推定し、後段で処理を統合 Localization System Diagnostic Node

Sensing & Localization Localization Sensing Map Pose Estimator Points Preprocessor LiDAR Ego Points Remover GNSS GNSS Driver IMU IMU Driver Vehicle Data Distortion Correction Vehicle Outlier Filter Concat Crop Range Down Sampler NDT Scan Matcher Model Prediction Pose Initializer Twist Estimator IMU wheel velocity fuser Pose Twist Fusion Filter Delay Gate Mahalanobis Gate Measurement Update Vehicle Interface Localizer Diagnostics Safety Diagnostic Node Localization System Diagnostic Node ・EKF - NDT Feedback さまざまなセンサーを統合した推定結果を初期位置として 利用し、マッチング精度を上げる NDTが苦手な環境でも継続的に動作可能 ・遅延対応 各センサー間（車両・LiDAR・Autoware）で 時刻同期を行い、計測された遅延を考慮して 現在位置と速度を推定

Sensing & Localization Localization Sensing Map Pose Estimator Points Preprocessor LiDAR Ego Points Remover GNSS GNSS Driver IMU IMU Driver Vehicle Data Vehicle Distortion Correction Outlier Filter Concat Crop Range Down Sampler NDT Scan Matcher Model Prediction Pose Initializer Twist Estimator IMU wheel velocity fuser Pose Twist Fusion Filter Delay Gate Mahalanobis Gate Measurement Update Vehicle Interface Localizer Diagnostics Safety Diagnostic Node Localization System Diagnostic Node

• https://www.youtube.com/watch?v=ydPxWB2jVnM

Perception : Traffic Light Recognition

Traffic Light Recognition Perception : Traffic Light Recognition Sensing Image Preprocessor Camera Image Detection Classifier Rectifier Color Filter Map Route Map based Detector Fine Detector or CNN ・自車経路に関係する信号機のみを検出・識別 ・高精度マップ上の信号機との対応付

Traffic Light Recognition Perception : Traffic Light Recognition Sensing Image Preprocessor Camera Image Detection Classifier Rectifier Color Filter Map Route 推定誤差によるずれを考慮した候補領域を生成 ※ 自己位置推定誤差、キャリブ誤差、バイブレーション Map based Detector Fine Detector or CNN

Traffic Light Recognition Perception : Traffic Light Recognition Sensing Image Preprocessor Camera Detection Image Classifier Rectifier Color Filter Map based Detector Map Fine Detector or CNN Route 青 フィルタ 入力 画像 画像処理 フィルタ 入力 画像 color filter CNN red 黄 フィルタ red binalize noise filter 赤 フィルタ 環境・カメラに対して調節がしやすい 矢印等の色識別以外に対して拡張しやすい

Planning : Lane Driving

Behavior Planner：交通ルールに関わる計画 Planning : Lane Driving Motion Planner：車両運動に関わる計画 Lane Driving From Mission Planner Behavior Planner Route - Lane Change Motion Planner To Control Path Behavior Path Planner Behavior Velocity Planner - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Motion Path Planner - Obstacle Avoidance - Path Smoothing - Narrow Space Driving Motion Velocity Planner Trajectory - Obstacle Stop - Car Following - Velocity Smoothing Route：5~10m間隔の走行ルート Path：0.1~1m間隔の位置・速度を含む走行経路 Trajectory：0.1秒間隔の位置・速度・加速度を含む走行軌道

Behavior Planner：交通ルールに関わる計画 Planning : Lane Driving Motion Planner：車両運動に関わる計画 Lane Driving From Mission Planner Behavior Planner Route - Lane Change Motion Planner To Control Path Behavior Path Planner Behavior Velocity Planner - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Motion Path Planner - Obstacle Avoidance - Path Smoothing - Narrow Space Driving ・レーンチェンジ 駐車車両やルート指示に応じてレーンチェンジを行う 周囲の車両速度を見てレーンチェンジの実行可否を判断 Motion Velocity Planner - Obstacle Stop - Car Following - Velocity Smoothing Trajectory

• https://www.youtube.com/watch?v=SCIceXW9sqM

Behavior Planner：交通ルールに関わる計画 Planning : Lane Driving Motion Planner：車両運動に関わる計画 Lane Driving From Mission Planner Behavior Planner Route - Lane Change Motion Planner To Control Path Behavior Path Planner Behavior Velocity Planner - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Motion Path Planner - Obstacle Avoidance - Path Smoothing - Narrow Space Driving Motion Velocity Planner Trajectory - Obstacle Stop - Car Following - Velocity Smoothing ・横断歩道 横断歩道上の歩行者や、横断歩道に向かって走ってくる 自転車等の移動予測から経路速度を調整 ・交差点 交差点周囲の動物体の移動予測情報や、 前方の渋滞車両検知結果などから、交差点における速度を調整

Behavior Planner：交通ルールに関わる計画 Planning : Lane Driving Motion Planner：車両運動に関わる計画 Lane Driving From Mission Planner Behavior Planner Route - Lane Change Motion Planner To Control Path Behavior Path Planner Behavior Velocity Planner - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Motion Path Planner - Obstacle Avoidance - Path Smoothing - Narrow Space Driving Motion Velocity Planner Trajectory - Obstacle Stop - Car Following - Velocity Smoothing ・障害物回避 / 経路平滑化 / 狭路走行 最適化手法を用いて路駐車両や工事現場領域の回避経路を生成 車両形状と走行可能領域を考慮した狭路の走行経路も対応

• https://www.youtube.com/watch?v=s_4fBDixFJc
• https://youtu.be/bfw4XIYMDAI

Behavior Planner：交通ルールに関わる計画 Planning : Lane Driving Motion Planner：車両運動に関わる計画 Lane Driving From Mission Planner Behavior Planner Route - Lane Change Motion Planner To Control Path Behavior Path Planner Behavior Velocity Planner - Blind Spot - Crosswalk - Intersection - Stop Line - Traffic Light - Detection Area - etc. Motion Path Planner - Obstacle Avoidance - Path Smoothing - Narrow Space Driving Motion Velocity Planner Trajectory - Obstacle Stop - Car Following - Velocity Smoothing ・速度平滑化 最大速度・加速度制約の下でジャーク（加速度の微分） が最小になるように経路速度を計画

Control

Control Command - Steering angle - Steering angle rate - Velocity - Acceleration Control Control Trajectory Follower Trajectory Lateral Controller Vehicle Cmd Gate Control Command Longitudinal Controller ・Lateral Controller：経路追従のための操舵角を計算（pure pursuit / MPC） ・Longitudinal Controller：目標速度へ追従するための加速度を計算（PID） ・Vehicle Cmd Gate：最大速度・加速度・ジャーク制約 ・Accel Map Converter：目標加速度をアクセル・ブレーキペダル値へ変換 Vehicle Interface Accel Map Converter Vehicle Interface To Vehicle

Control Command - Steering angle - Steering angle rate - Velocity - Acceleration Control Control Trajectory Follower Trajectory Lateral Controller Vehicle Cmd Gate Control Command Vehicle Interface Accel Map Converter Vehicle Interface To Vehicle Longitudinal Controller ・Lateral Controller 経路追従のための操舵角を計算 - pure pursuit - Model Predictive Control (MPC) 経路の前方に目標点を設定し、 そこへ向かうよう目標操舵角を計算 車両データ*を用いて将来の動作を予測し、 最も上手く経路に沿う操舵角を計算 * 操舵遅延、操舵変化率制約、 横滑りなど

• https://youtu.be/6LKdpT2gC9U

Control 制御指示の応答遅延 0.3 [s] x 17 [m/s] = ハンドル - タイヤ 可変ギア比 5.1 [m] 温度変化や経年劣化による ディスクブレーキ挙動の変化 ステアリング機構の摩擦・不感帯 タイヤ弾性 路面環境に依存した 摩擦係数の変化 雨・雪など スロットルと加速度の 非線形性 経路勾配 センサー性能の限界 （ジャーク計算） 乗車人数に応じた質量の変化

Control Command - Steering angle - Steering angle rate - Velocity - Acceleration Control Control Trajectory Follower Trajectory Lateral Controller Vehicle Cmd Gate Control Command Vehicle Interface Accel Map Converter Vehicle Interface To Vehicle Longitudinal Controller ・加速度マップ ・Longitudinal Controller 目標速度へ沿うための目標加速度を計算（PID） 加減速指示の遅延や勾配補正も対応 停車の瞬間は特殊シーケンスで正着精度と乗り心地を両立 目標加速度を車両のアクセル・ブレーキ値に変換

Simulator & Test

Logging Simulator Planning Simulator End2End Simulator Real Test Sensing ◯ ◯ ◯ Localization ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ ○（一部） ◯ ◯ ○（一部） Perception Planning Control ◯ ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ※ 疑似点群生成：物体のOcclusionを模擬 ・ステアリング、加減速の遅延、振動を模擬

テストケース（一部） Logging Simulator Sensing ◯ Localization ◯ End2End Simulator Real Test ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ ○（一部） ◯ ◯ Planning Simulator 交差点、横断歩道、右左折巻き込み、レーンチェンジなど 約400シーンをCIでテスト ○（一部） Perception Planning Control ◯ ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ※ 疑似点群生成：物体のOcclusionを簡易的に考慮 ・ステアリング、加減速の遅延、振動を模擬

• https://youtu.be/4UOmkwD0n_Y

Logging Simulator Planning Simulator Unity based simulator (LGSVL) End2End Simulator Real Test Sensing ◯ ◯ ◯ Localization ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ △ ◯ ◯ △ Perception Planning Control ◯ ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ※ 疑似点群生成：物体のOcclusionを簡易的に考慮 ・ステアリング、加減速の遅延、振動を模擬

• https://youtu.be/kv9556_n-k4

Logging Simulator End2End Simulator Real Test ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ ◯ △ ◯ ◯ Planning Simulator Sensing 私有地の実験場 ◯ Localization ◯ △ Perception Planning Control ◯ ・Detection（疑似点群生成機能の利用） ・Tracking ・Perception ※ 疑似点群生成：物体のOcclusionを簡易的に考慮 ・ステアリング、加減速の遅延、振動を模擬

• https://www.youtube.com/watch?v=kn2bIU_g0oY

より詳細な情報がほしい方は github / gitlabへ Autoware.AI (ROS1) Architecture Proposal (ROS1) Autoware.Auto (ROS2)

子会社の技術紹介

自動運転システムのための ３次元地図作成、 一推定技術の研究開発を進め、 自動運転の実用化に貢献します

VR / AR技術の開発 Paint The World Vivid

最後に

オフィスが新しくなりました

[email protected] TierIV, Inc. © 2020 Tier IV, Inc. @tier_iv_japan Tier IV

• https://twitter.com/tier_iv_japan
• https://www.linkedin.com/company/tier-iv-inc/?viewAsMember=true
• https://github.com/tier4