【Ltech#11】ディープラーニングで間取り図を3Dにする
1.9K Views
October 29, 20
スライド概要
2020/10/29 Ltech#11 不動産領域のAI活用最前線 〜初完全リモート開催〜
AI戦略室データサイエンスグループ 椎橋 怜史
LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。
関連スライド
各ページのテキスト
Ltech 11 ディープラーニングで間取り図を3Dにする 株式会社LIFULL 椎橋怜史
自己紹介 ・椎橋怜史 ・2016年LIFULL入社 ・機械学習の研究開発をやっています ・https://qiita.com/shiibass ・ https://github.com/shiibashi
空飛ぶホームズくんの裏側のアルゴリズムの話 https://japan.cnet.com/article/35159709/
アルゴリズムの流れ ④３D ①元画像 ②セマンティック画像 ディープラーニング （画像認識） ③ポリゴンデータ 画像処理 （間取り解釈）
セマンティックセグメンテーションタスクで学習 各ピクセルごとにクラス分類をする機械学習タスク
アルゴリズムの流れ ④３D ①元画像 ここの話 ②セマンティック画像 ディープラーニング （画像認識） ③ポリゴンデータ 画像処理 （間取り解釈）
参考にした論文：Deep Floor Plan Recognition Using a Multi-Task Network with Room-Boundary-Guided Attention この論文の特徴 ・attention層をいれることで精度向 上 ・direction-aware kernelsをいれるこ とで精度向上 詳しくは https://openaccess.thecvf.com/content_ICCV_ 2019/papers/Zeng_Deep_Floor_Plan_Recogni tion_Using_a_MultiTask_Network_With_Room-BoundaryGuided_ICCV_2019_paper.pdf
LIFULLではアイコンを追加して3種類の出力層を構築 line出力層, LovasLoss room出力層, CrossEntropyLoss semantic-segmentation タスクとして最適化する icon出力層,CrossEntropyLoss
実装関連箇条書き ● minimize: LovaszLoss + w_1 CrossEntropyLoss_room + w_2 CrossEntropyLoss_icon w_1とw_2は定数 ● ● ● ● ● ● ● Pytorch, albumentations（augmentation用） opencv(画像処理) 活性化関数 Funnel Activation https://arxiv.org/pdf/2007.11824.pdf AWS EC2: p3.2xlarge 1台 学習48時間 学習データ間取り図3500枚、アノテーションはクラウドソーシング+自分たち line (壁, ドアの2種類) room(9種類) icon(6種類)
Data Augmentation https://github.com/albumentationsteam/albumentations ● ● ● ● VertivalFlip HorizontalFlip Rotate CLAHE ＋ Logo(custom augmentation) Logo
Annotation ● 外注したアノテーションの検収が大変 ● 単純作業だけど間違えられないので集中力 使う ● 長時間アノテーションで肩がこる、腰が痛 くなる ● 筋トレしてなかったら身体壊れてた ● エンジニアは運動も仕事の一貫 アノテーションツ ールCVAT
推論結果
アルゴリズムの流れ ④３D ここの話 ①元画像 ②セマンティック画像 ディープラーニング （画像認識） ③ポリゴンデータ 画像処理 （間取り解釈）
基本は輪郭抽出だが、プラスで工夫が必要 ピクセル単位でラベルが 割り当てられたデータ 輪郭抽出してポリゴンの 頂点のみ保持するデータ
プラスの工夫：認識と解釈は別問題1 ● 赤で囲った２つのドア ● ディープラーニングはこれらを同一視する ● 人間なら浴室にあるのは小窓でバルコニー にあるのは人間が行き来できるサイズと解 釈できる ↓ ディープラーニングには認識のみさせる ３D化で違和感ないような解釈はルールで記述
プラスの工夫：認識と解釈は別問題2 元画像 どこがNGか？ 推論結果 赤で囲ったドアは 正しく認識できている 輪郭抽出結果 ドアの輪郭を 正しく抽出できている
プラスの工夫：認識と解釈は別問題2 常識的に考えて、ドアは ２つに分かれてるはず 元画像 推論結果 赤で囲ったドアは 正しく認識できている 画像処理でドアを分割 ディープラーニングの推 論結果を塗り替える
アルゴリズムの流れ ④３D ここは省略 ①元画像 ②セマンティック画像 ディープラーニング （画像認識） ③ポリゴンデータ 画像処理 （間取り解釈）
３Dになるとこうなります https://japan.cnet.com/article/35159709/
おわり