【Ltech#5】機械学習を用いた間取り画像の自動解析
1.5K Views
February 22, 19
スライド概要
2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2
～若手エンジニアが語る機械学習事例～
AI戦略室 データサイエンティスト 椎橋怜史
・LIFULLの機械学習開発事例 ❝間取り図を解析して３Dモデルを作る❞
・将来の展望
LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。
関連スライド
各ページのテキスト
機械学習を用いた間取り画像の自動解析 AI戦略室 椎橋怜史 2019/02
自己紹介 • 椎橋 怜史 （しいばしさとし） • 2016年4月 LIFULL 新卒入社 • データサイエンティスト Qiita: @shiibass Twitter: @shiibass 興味ある分野 • 量子コンピュータ • 数理最適化 • 強化学習 • ゲーム理論 • データ分析、機械学習開発を担当 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
今日はLIFULLの機械学習開発事例を紹介しま す © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
間取り図を解析して３Dモデルを作る 物体認識・間取り構造推定 参考論文“Raster-toVector: Revisiting Floorplan Transformation” 部屋の３Dモデル 間取り図 縮尺・長さ推定 〇m その他技術 © LIFULL Co.,Ltd. 4 本書の無断転載、複製を固く禁じます。
間取り画像の教師データ作成 間取り画像→テキストデータ（座標とラベル） 515,912.,657,930,balcony 583,133,638,152,bathroom 661,104,758,247,bathtub 204,36,343,262,bedroom １０００枚ほど © LIFULL Co.,Ltd. 5 本書の無断転載、複製を固く禁じます。
人間の骨格認識技術を応用する Pose Estimation（骨格認識）技術 どこに人間のどの部位があるかをそれぞれ学習している Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 6 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
こういうの Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 7 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
画像と座標データを学習させて間取りの 骨格を認識（転移学習） 間取り画像のどこにパーツがあるかをそれぞれ学習させる ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 8 本書の無断転載、複製を固く禁じます。
画像と座標データを学習させて間取りの 骨格を認識（転移学習） 間取り画像のどこにパーツがあるかをそれぞれ学習させる ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 9 本書の無断転載、複製を固く禁じます。
骨格情報から部屋情報を推定する 人間の骨格は一意（頭→首→胴体など） 部屋構造は一意ではない ドアの骨格 壁の骨格 骨格情報から 矛盾が起きない部屋 構造を推定する （どうやって？） キッチンカウンターの骨格 などその他いくつか © LIFULL Co.,Ltd. 10 本書の無断転載、複製を固く禁じます。
制約充足問題に定式化 機械学習（ML） ・制約なし（基本的には） ・損失関数の最小解を探索 ・凸最適化（基本的には） 制約充足問題（CSP） ・制約条件を満たす解を探索 ・基本的にNP問題 最適化 教師あり CSP 機械学習 イメージ↑ © LIFULL Co.,Ltd. 11 本書の無断転載、複製を固く禁じます。
制約充足問題の例 虫食い算 ABCD +C A E F GDBCA A~Gは0から9のいずれ かでそれぞれ異なる 制約： • 0 <= A,B,…, G <= 9, Integer • A != B, A != C,…, F != G • x, y,… ダミー変数 • D + F = 10 * x + A • C + E + x= 10 * y + C • … 巨大になればなるほど総当たり計算やルー ルベースロジックは対応しにくくなる 12 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題の例 図形解釈 解釈パターン(+,-,→)を定義して、 各辺に解釈のパターンを割り当てる問題 矛盾なく割り当てられれば解釈成功 変数：各変数のラベル(+,-,→)を どれに割り当てるか 制約：解釈に矛盾がない © LIFULL Co.,Ltd. 13 本書の無断転載、複製を固く禁じます。
制約充足問題の例 図形解釈に矛盾があるとは？ どう見えますか？ © LIFULL Co.,Ltd. 14 本書の無断転載、複製を固く禁じます。
制約充足問題に定式化 • ドアや窓は壁と密着している • 部屋は四方を壁で囲まれている • その他 などの制約をすべて満たす解釈方法を探索 (最適化ソルバー：gurobi) ドアの骨格 壁の骨格 © LIFULL Co.,Ltd. 15 本書の無断転載、複製を固く禁じます。
学習結果 Predict and Optimize Predict・・・ディープラーニングで物体を認識 Optimize・・・認識したパーツを組み合わせ、 無矛盾な解釈を探索する © LIFULL Co.,Ltd. 16 本書の無断転載、複製を固く禁じます。
縮尺・長さの推定 バルコニー、室外を除外 専有面積としてカウントする領域のみを抽出 ↓ 平易な数値計算で縮尺を計算 © LIFULL Co.,Ltd. 17 本書の無断転載、複製を固く禁じます。
将来の展望 Predict Optimize ※イメージ 3D Rendering © LIFULL Co.,Ltd. 18 本書の無断転載、複製を固く禁じます。