【Ltech#18】3D間取りを支える技術

2021.7.13 Ltech#18 AIで住まい探しをスムーズに！ 【3D間取りを支える技術】 株式会社LIFULL AI戦略室 横山貴央 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

1．LIFULL AI戦略室のご紹介 2．LIFULL HOME’S 3D間取りとは アジェンダ 3．3D間取りを支える技術 4．おわりに 5．アジェンダ Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 自己紹介 https://github.com/yokoyamt https://twitter.com/yokoyamtl 株式会社LIFULL AI戦略室 横山貴央 2015年4月 LIFULL入社。2018年8月に設置されたAI戦略室で、中古マンションの価格推定を中心にデータ分析や機械学 習業務に従事する。機械学習・データ分析領域の実務経験をもとに2019年10月より「AIコンサルタント」として業務 計画、進行管理、推進をミッションに持つ。2021年4月にβ版を公開した「LIFULL HOME'S 3D間取り」のPJ推進を担当。 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

• https://github.com/yokoyamt
• https://twitter.com/yokoyamtl

LIFULL AI戦略室のご紹介 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 LIFULL AI戦略室の体制（現在14名です） カジュアル面談受付中！ https://hrmos.co/pages/lifull/jobs/010-9999 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

• https://hrmos.co/pages/lifull/jobs/010-9999

2021/7/13 Ltech #18 - 3D間取りを支える技術 延べ183名参加 AI Tech Forum 2021 SPRING 開催目的 技術の開発者や利用者が交流する場を作ることで、技術の活 性化を加速する。 ➡︎「成果を発表できる場があるのはモチベーションになりまし た。」などの声があった！ 全社的に埋もれてしまいやすい技術や企画を発信する場にしてい きたいと考えている。 ➡︎「様々な部署の方と交流ができ、意見交換ができて良かったで す。」などの声があった！ 今回のAI Tech Forumは大盛況！ 各連携部署からの発表も多数！ 技術シーズの発表・紹介：計17件 参加者数：延べ183名 イベント満足度は4.2点／5点と高評価！ Copyright© LIFULL Co.,Ltd. All Rights Reserved.

LIFULL HOME’S 3D間取りとは？ Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 LIFULL HOME’S 3D間取り https://www.homes.co.jp/3dmadori/ Copyright© LIFULL Co.,Ltd. All Rights Reserved. 2021年4月 リリース！

• https://www.homes.co.jp/3dmadori/

2021/7/13 Ltech #18 - 3D間取りを支える技術 LIFULL HOME’S 3D間取りとは？ ２次元の間取り図を画像認識・ポリゴン化して、3Dモデルとして可視化する仕組み ディープラーニング技術の活用により、従来1件あたり数万円の作成コストがかかっていた3Dモデルを、 安価かつ大量に生成できるようになりました。※特許取得済み https://www.homes.co.jp/3dmadori/ Copyright© LIFULL Co.,Ltd. All Rights Reserved.

• https://www.homes.co.jp/3dmadori/

2021/7/13 Ltech #18 - 3D間取りを支える技術 SNSでの反応 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

3D間取りを支える技術 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 3D間取りを支える技術 プロダクトとしての3D間取りを支える技術は広範囲にわたる。 Testing and debugging Data collection データ収集 テストとデバッグ Configuration 構成/アーキテクチャ Data verification データ検証 ML code Resource management リソース管理 Model analysis モデル解析 Serving Infrastructure サービスインフラ Process management プロセス管理 Automation 自動化 Feature engineering 特徴量エンジニアリング Monitoring Metadata management メタデータ管理 死活・負荷監視 参考：MLOps: 機械学習における継続的デリバリーと自動化のパイプライン https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning Copyright© LIFULL Co.,Ltd. All Rights Reserved.

• https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

2021/7/13 Ltech #18 - 3D間取りを支える技術 全社アプリケーション実行基盤の活用 yaml KEELとはLIFULLグループ全体で利用することを目的として開発されている、 Kubernetesベースのアプリケーション実行基盤です。 KEELの存在によりAI戦略室の開発者はリソース管理・サービスインフラ・死活や負 荷監視が行える環境を非常に容易に手に入れることができ、ML opsを構成するシス テム構築の負荷が軽減されたことでサービスの早期リリースが実現できました。 Data collection データ収集 Configuration 構成/アーキテクチ ャ Data verification データ検証 Testing and debugging テストとデバッグ ML code Resource management リソース管理 Model analysis モデル解析 参考： コマンド1発でKubernetes上にProduction Readyな環境を手に入れる Serving Infrastructure サービスインフラ Process management プロセス管理 Automation 自動化 Feature engineering 特徴量エンジニアリング Copyright© LIFULL Co.,Ltd. All Rights Reserved. Monitoring Metadata management メタデータ管理 死活・負荷監視 https://www.lifull.blog/entry/2021/03/30/100000

• https://www.lifull.blog/entry/2021/03/30/100000

2021/7/13 Ltech #18 - 3D間取りを支える技術 間取り画像の認識はどのように行われるか？ Deep Floor Plan Recognition Using a Multi-Task Network with Room-Boundary-Guided Attention (2019) https://arxiv.org/pdf/1908.11025.pdf 間取図に 特化・応用 semantic segmentation Copyright© LIFULL Co.,Ltd. All Rights Reserved.

• https://arxiv.org/pdf/1908.11025.pdf

2021/7/13 Ltech #18 - 3D間取りを支える技術 間取り画像の認識はどのように行われるか？ Deep Floor Plan Recognition Using a Multi-Task Network with Room-Boundary-Guided Attention (2019) Ltech # 11 https://arxiv.org/pdf/1908.11025.pdf キッチン・バスタブ・トイレなど Copyright© LIFULL Co.,Ltd. All Rights Reserved. https://www.slideshare.net/next_developer/ltech113d

• https://arxiv.org/pdf/1908.11025.pdf
• https://www.slideshare.net/next_developer/ltech113d
• https://lifull.connpass.com/event/191605/

2021/7/13 Ltech #18 - 3D間取りを支える技術 間取図が3D化されるまでの流れ 間取り画像 セマンティック画像 ポリゴンデータ ここにも 工夫が必要 3Dモデル（可視化） Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 工夫（１）移動点を作成してスムーズな閲覧を実現 【背景】 室内の移動を簡単にしたい 【工夫】 室内の移動を簡単にするために、ポリ ゴン化したデータをもとに主要なポイ ントに「移動点」を生成し、それを線 で結ぶことで「どの点に移動できるか 」という情報を付与しました。 Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 工夫（２）アイコンが認識できない場合 浴室やトイレのアイコンが「ない」場合にはバスタブやトイレの可視化のためのデータ出力を semantic segmentationだけでは対応できないため、ルールベースでバスタブやトイレを設置しました。 アイコンあり Copyright© LIFULL Co.,Ltd. All Rights Reserved. アイコンなし Deep Learningの出力 ルールベースでの設置

おわりに Copyright© LIFULL Co.,Ltd. All Rights Reserved.

2021/7/13 Ltech #18 - 3D間取りを支える技術 過去のLtech資料もぜひご覧ください LIFULLでは機械学習プロダクトの自社開発に力を入れており、Ltechでも頻繁に機械学習系発表のイベントを行っています。 3D間取りについても過去2回技術発表を行っており、発表資料のアーカイブがございます。 ぜひこちらもご覧ください。 ※当時の発表内容と現在の仕様は変更点があります # 05 https://www.slideshare.net/next_developer/ss-132855145 Copyright© LIFULL LIFULL Co.,Ltd. Co.,Ltd. All All Rights Rights Reserved. Reserved. Copyright© # 11 https://www.slideshare.net/next_developer/ltech113d

• https://www.slideshare.net/next_developer/ss-132855145
• https://www.slideshare.net/next_developer/ltech113d
• https://lifull.connpass.com/event/119278/
• https://lifull.connpass.com/event/191605/

Copyright© LIFULL Co.,Ltd. All Rights Reserved.