【SIX2019 】Deep Learningを活用した間取り画像における物体検出

2.4K Views

March 08, 19

スライド概要

「SIX2019 」2DAY'S AI CONFERENCE@グランドプリンス新高輪 国際館パミール(https://six.abejainc.com/)の登壇スライド

開催日:2019年3月4日(月)、5日(火)
登壇者:株式会社LIFULL AI戦略室 椎橋怜史 
講演内容:ABEJA PLATFORMの利用事例とそれを使ってLIFULLで何を作っているかの紹介

profile-image

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

DEEP LEARNINGを活用した 間取り画像における物体検出 株式会社LIFULL AI戦略室 椎橋怜史 2019.03.05

2.

自己紹介 椎橋 怜史(しいばしさとし) データサイエンティスト 経歴 2016年LIFULL新卒入社 広告予算最適化、レコメンドなどの 機械学習開発 @shiibass © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

3.

目次 • LIFULL会社紹介 • ABEJA PLATFORM ANNOTATION • LIFULL事例紹介 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

4.

目次 • LIFULL会社紹介 • ABEJA PLATFORM ANNOTATION • LIFULL事例紹介 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

5.

LIFULL のご紹介 会社名 証券コード 代表者 沿革 資本金 2120(東証第一部) 代表取締役社長 井上 高志 1997年3月12日 設立 2006年10月 東証マザーズ上場 2010年3月 東証一部へ市場変更 3,999百万円 発行済株式数 118,789,100株(内、自己株式数73,736株) 連結従業員数 1,251名(内、臨時雇用者数220名、海外子会社125名) 主な株主 主な子会社 ( )は議決権比率 LIFULL役員、楽天株式会社(20%) Trovit Search, S.L. (100%) 株式会社LIFULL Marketing Partners(100%)

6.

のご紹介 一人ひとりのご要望を追求し、最適な 住まい探しを提案します。

7.

プライスマップ 不動産価格を機械学習で予測・可視化 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

8.

かざして検索 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

9.

目次 • LIFULL会社紹介 • ABEJA PLATFORM ANNOTATION • LIFULL事例紹介 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

10.

ABEJA PLATFORMの全体像 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

11.

一言で言えば 機械学習開発を効率化するクラウドサービス © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

12.

ABEJA PLATFORMの機能 ABEJA Platformは開発・運用に必要なパイプラインをサポートする機能が充実しているため、AIの ビジネスへの実装を短期間で実現し、継続して精度を維持・向上することができます。 1 取得 システムや多数のIoTデバイスとABEJA Platformが接続し、 自動的に負荷分散を行いながらデータの取得を行うことがで きます。 2 蓄積 取得したデータをスケーラブルにデータレイクへ格納し、 蓄積したデータのバリデーションを実行します。 教師データ作成(アノテーション)を効率的に実現する サ ービスを提供します。 3 学習 GPUを使った学習環境が用意されており効率的にモデルの開発 ができます。チューニング時の学習データ、モデルなどのバー ジョンをGUIツールで管理することにより、開発の時間短縮を 図れます。 4 デプロイ 5 推論・再学習 学習ごとに自動的に精度評価を行うことができます。評価後 モデルを選択するだけで、IoTデバイスを含めた本番環境へ自 動的にデプロイを行うことができます。 システムの監視機能が標準装備され、デバイスの故障や異常を 検知します。スケジュール機能により、ユーザの任意のタイミ ングでモデルの再学習が可能です。 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

13.

ABEJA PLATFORMのLIFULLでの活用範囲 LIFULLではアノテーション(教師データ作成)機能を利用しています。 2 蓄積・アノテーション 取得したデータをスケーラブルにデータレイク へ格納し、蓄積したデータのバリデーションを 実行します。 蓄積・アノテーション 教師データ作成(アノテーション)を効率的に 実現するサービスを提供 します。 学習以降のプロセスはLIFULLの環境内で 開発・運用しています。 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

14.

アノテーションとは? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

15.

教師データ作成(アノテーション)の例 画像を保存していたとして、 こういう情報も 保管していますか? 123912301273123.jpg • • • • • 犬であること 犬の種類 毛色 着ている服 犬が何をしている様子なのか © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

16.

教師データ作成(アノテーション)の例 画像を保存していたとして、 こういう情報も 保管していますか? 画像だけでは足りない 情報がある • 犬であること 123912301273123.jpg • • • • 犬の種類 毛色 着ている服 犬が何をしている様子なのか © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

17.

教師データ作成(アノテーション)の例 明示的に何を表すかをマーク づけするのがアノテーション 作業 123912301273123.jpg • • • • • 犬であること → ”dog” 犬の種類 → ”〇〇” 毛色 → ”△色” 着ている服 犬が何をしている様子なのか © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

18.

教師データ作成にこだわる理由 • 教師データを必要とするタスクが多い • 画像やテキスト、音声などのデータを持っていても学習させ るラベルは持っていないケースが多い • 人力で教師ラベルを作る必要があるケースが多い • 高性能なモデルの開発にはアルゴリズムだけでなく、データ の質も重要 • だけどデータ作成の人手が足りない © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

19.

そのための © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

20.

ABEJA PLATFORM ANNOTATION データをアップロードしてアノテーション © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

21.

ABEJA PLATFORM ANNOTATION 間取り画像の壁やアイコンにアノテーション 水色:寝室 黄色:キッチン ピンク:壁 トイレ、クローゼット など © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

22.

皆さんがいだきそうな疑問を考えてみました © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

23.

学習で重要なアノテーション作業を 外部に依頼してデータの質ってどうなの? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

24.

データの質 • ABEJAではワーカーの作業をレビューしていて、質の 低下を防いでいる • アノテーションのルールを明確にして、それに従って 作業している © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

25.

ちゃんとやってくれなかったらどうしよう 学習の精度落ちる © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

26.

ABEJAのデータ作成業務の質を確認 • • チェック用のダミーデータを混ぜて精度確認 並行して他社にも同じ作業を依頼 ABEJA、もう1社ともにデータの質は問題ない 丁寧にアノテーションしてくれました 当初想定していたよりも 少ないデータ量で学習ができた 結果的に… © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

27.

どうしてABEJAにしたの? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

28.

アノテーション作業をABEJAに依頼した理由 • 正直、どこでもよかった(ちゃんとやってくれるなら) • あえて言うなら、安いところがいい 2社試した結果、 もう一社はアノテーション用ツールや先方での作業管 理方法などの準備が大変だった → そういう環境を整えているのが ABEJA Platform Annotationの選定理由になる © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

29.

AWS SageMaker Ground Truth出たけど? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

30.

AWS Sagemaker Ground Truthとは • ABEJA PLATFORM ANNOTATION類似サービス • クラウドソーシングも利用可能 • 今外注するならAWSも検討にいれるべき © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

31.

どっち選ぶ? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

32.

決め手になりそうなこと 金額 見積もりを出してみるしかない データの質 ABEJAはGood, AWSは使ってないので質は不明。 ワーカーが日本人じゃなかったら要件定義(ルール作成)が難しいかも? アノテーションタスク ABEJAの方が対応可能なタスクが多い (2019年1月時点) - ABEJA : Video, Classify, Detection, Text, Segmentation Selectable, Speech to Text, Image to Text, Polygon - AWS : Text, Classify, Detection, Segmentation, Selectable © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

33.

その他 https://qiita.com/adventcalendar/2018/abejaplatform • ABEJA PLATFORMの活用についての記事です • 純粋にMLOpsの技術勉強にもなります © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

34.

目次 • LIFULL会社紹介 • ABEJA PLATFORM ANNOTATION • LIFULL事例紹介 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

35.

間取り図を解析して3Dモデルを作る 物体認識・間取り構造推定 参考論文“Raster-to-Vector: Revisiting Floorplan Transformation” 部屋の 3Dモデル 間取り図 〇m 縮尺・長さ推定 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

36.

間取り画像のアノテーションを変換 間取り画像→テキストデータ(座標とラベル) 515.0 583.0 661.0 204.0 ← 912.0 133.0 104.0 236.0 657.0 638.0 758.0 343.0 930.0 152.0 247.0 262.0 balcony bathroom bathtub bedroom で作成したデータ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

37.

人間の骨格認識技術を応用する Pose Estimation(骨格認識)技術 学習済みモデルも公開されてる ※Human pose estimation via Convolutional Part Heatmap Regressionから抜粋© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

38.

画像と座標データを学習させて 間取りの骨格を認識 ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

39.

画像と座標データを学習させて 間取りの骨格を認識 間取り画像のどこにパーツがあるかをそれぞれ学習させる ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

40.

画像と座標データを学習させて 間取りの骨格を認識 学習済みモデルの重みを初期値にして学習 (転移学習) メリット • 少ないデータ数で学習可能 • 学習時間の短縮(低コスト) © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

41.

骨格情報から部屋情報を推定する 人間の骨格は一意(頭→首→胴体など) 部屋構造は一意ではない 骨格情報から 矛盾が起きない 部屋構造を推定する ドアの骨格 壁の骨格 キッチンカウンターの骨格 などその他いくつか © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

42.

制約充足問題に定式化 機械学習(ML) ・制約なし(基本的には) ・損失関数の最小解を探索 ・凸最適化(基本的には) 制約充足問題(CSP) ・制約条件を満たす解を探索 ・基本的にNP問題 最適化 教師あり CSP 機械学習 イメージ↑ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

43.

制約充足問題の例 虫食い算 ABCD +C A E F GDBCA A~Gは0から9のいずれかで それぞれ異なる 制約: 0 <= A,B,…, G <= 9, Integer A != B, A != C,…, F != G x, y,… ダミー変数 D + F = 10 * x + A C + E + x= 10 * y + C … 巨大になればなるほど総当たり計算や ルールベースロジックは対応しにくくなる © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

44.

制約充足問題に定式化 • ドアや窓は壁と密着している • 部屋は四方を壁で囲まれている • その他 などの制約をすべて満たす解釈方法を探索 ドアの骨格 壁の骨格 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

45.

学習結果 Predict and Optimize Predict … ディープラーニングで物体を認識 Optimize … 認識したパーツを組み合わせ、無矛盾 な解釈を探索する © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

46.

将来の展望 Predict Optimize 3D Rendering ※イメージ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

47.

ご清聴、ありがとうございました Ask the Speakerコーナーでお会いしましょう