【WebDB Forum 2018】深層学習を活用したLIFULL HOME’S物件画像の分類

WebDB Forum 2018 深層学習を活用したLIFULL HOME’S物件画像の分類 株式会社LIFULL LIFULL HOM E’S事業本部 新UX開発部 AI推進ユニット 椎橋怜史 2018/09

自己紹介 • 椎橋 怜史 （しいばしさとし） LIFULL HOME’S事業本部 新UX開発部 • 経歴 2016年3月東京工業大学 ↓ 2016年4月LIFULL入社 AI推進ユニット 大学院（修士課程まで） • データサイエンティスト • レコメンドや広告費最適化などの機械学習、アルゴリズム開発 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

LIFULL HOME’S 日本No.1の 不動産・住宅情報サイト LIFULL HOME’S 掲載物件数で © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

LIFULL HOME’Sの仕組み（賃貸） • 不動産会社が物件を掲載 • ユーザーからの問い合わせを不動産会社へ届ける 物件掲載 問い合わせ オーナー ユーザー 不動産会社 （管理or仲介） © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

組織体制 「+AI」の方針で既存サービスにAI機能を追加、新規AIサービスの開発 AI技術に限らずテクノロジーで想像を超えるようなサービスを目指す 他部署と協力・分担してAIサービスをリリース サービス開発部門 賃貸 AI推進 データサイエン ティスト 中古 新築 支 援 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

LIFULL HOME’Sプライスマップ © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

かざして検索 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

記事・TV 弊社サービスや機械学習事例を 取り上げていただいています © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

画像種類の判別モデル © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

画像種別を自動で判別してタグ付け • 情報精度向上 • 入稿処理自動化 • 精度accuracy 0.9 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

画像種別を自動で判別してタグ付け • 情報精度向上 • 入稿処理自動化 • 精度accuracy 0.9 内装 エントランス 風呂 キッチン 設備 駐車場 トイレ 周辺 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

タグ付け機能の立ち位置 画像入稿 不動産会社 （管理or仲介） ユーザー LIFULL HOME’Sの内部アルゴリズム で画像の種別を評価 ↓ 情報精度が高いと優れた情報をユー ザーに届けられる © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

自動タグ付け機能導入による成果 従来のアップローダー （手動でタグ付けしていただく） その他 その他 その他 その他 その他 その他 その他 その他 自動タグ付け導入後 内装 風呂 トイレ 駐車場 周辺 エントランス キッチン 設備 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

自動タグ付け機能導入による成果 精度：accuracy 0.9 従来はデフォルトで「そ の他」になりその後手動 でタグ付けしてもらって 入稿する仕組みだった © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

ディープラーニングで画像の特徴を学習 ・・・ 巨大＆複雑 全結合やドロップアウト層など Inception v3（学習済みモデル） 自前実装 画像判別モデル Inception v3を活用した転移学習 学習済みモデルを活用することで計算量を抑えられ、 用意できないデータに対しても学習が可能。 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

学習モデルの開発（設計） 学習リクエスト 参照 tensorflow Cloud Machine Learning Engine 学習モデル プログラミング 分散学習環境 兼 デプロイ Cloud Storage 学習用画像データ ストレージ 24種類 * 1000枚ほど © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

データサイエンス×エンジニアリング 学習できるだけで終わらず、いかに効率よくサービス化できるか Cloud Machine Learning Engine • 画像データの分散学習環境構築・管理の工数削減 • 分類画像の変更時の再学習時のスピード • Cloud Storageとの相性〇 • 予測APIサーバの構築不要 Python + Tensorflowによる学習プログラム（社内開発） • 他社サービスの利用も検討したが金額が障害になる危険性があった • 最新の研究成果などのモデルを試し精度向上を目指せる • 学習項目やデータなどの将来変化し得る事態に柔軟に対応可能な状態にする © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

データサイエンス×エンジニアリング アルゴリズム（施策）の評価基準もアカデミックとは少し異なる アカデミック • 汎化性能（AUC, RMSEなど） • 処理速度、収束速度 • 消費メモリ • 計算量オーダー などで評価されることが多い 上記項目が良ければよいほどいい ビジネス 左項目がサービスに適用可能なレベル ↓リリース • 売上・利益・人件費など • KPI（ユーザー利用数、世間の評判などの中 間指標） などで性能評価となる。 例えば汎化性能をどんなに上げても売上が上が らなければ施策成功とはいいがたい © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

データサイエンス×エンジニアリング アルゴリズム（施策）の評価基準もアカデミックとは少し異なる アカデミック • 汎化性能（AUC, RMSEなど） • 処理速度、収束速度 • 消費メモリ • 計算量オーダー などで評価されることが多い 上記項目が良ければよいほどいい ビジネス 左項目がサービスに適用可能なレベル ？ ↓リリース • 売上・利益・人件費など • KPI（ユーザー利用数、世間の評判などの中 間指標） などで性能評価となる。 例えば汎化性能をどんなに上げても売上が上が らなければ施策成功とはいいがたい © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

施策ごとに要求される性能は変わる 私は予測が外れたときのリスクで考えることが多い • 予測が外れると人命に関わる→そもそも機械学習を導入しない • 予測が外れると信頼を失う→高い性能が必要 （例えば価格査定の表示、予測結果の提供など） • 予測が外れても関係者が重大な被害を被らない →多少は欠点があってもOK（精度が良ければよいほどいい）←タグ付けはこれ １．accuracy0.9で悪くはない ２．間取り画像、キッチン、風呂などの重要視する画像は分類できる ３．景色や周辺画像では精度が悪いが、 タグ付けを導入すれば入稿工数を削減できる →GO © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

今後の課題（一部） © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

今後の課題：ユーザーに有益な情報を持つ画像の判別 同じキッチンでもユーザーが探したいキッチンは異なる © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

今後の課題：間取り画像の３Dモデル化 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

まとめ • 部署を横断した機械学習サービスの開発 • 必要に応じてクラウドサービスを利用することでスピーディーな開発 を実現する • 機械学習モデル開発（データサイエンス） ＋ 効率的・安定的な開発と運用（エンジニアリング） の両方が実現できてサービスにできる • 仲間募集してます © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。