「新しいおうち探し」のためのAIアシスト検索 #yjtc

1K Views

February 02, 22

#yjtc #AI #不動産 #物件検索 #レコメンドシステム #機械学習

スライド概要

Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。

Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/

アーカイブ動画はこちらからご覧ください。
https://youtu.be/-uhdjlcfcmQ

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 165.2K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 86.6K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 74.2K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 58.1K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 36K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 29.3K

各ページのテキスト

AIによる新しいおうち探し AIアシスト検索で何を実現したいのか • 従来の不動産サイトでは、数百万もの物件からユーザーが条件を絞り込み、物件の検索を⾏う • 不動産サイト側から、ユーザーの趣向や意図を適切に汲んだレコメンド機能がない AIがアシスタントとなって、ユーザーの物件探しをお⼿伝い店舗にいかずとも、対⾯接客と同等の物件提案が体験できる従来は店舗で提案された内容 ©2022 Yahoo Japan Corporation All rights reserved. 店舗に⾏かずともオンラインで体験できる

10.

11.

ユーザークラスタリングによる物件レコメンド素性データを⽤いたクラスタリング l Yahoo!不動産に訪問したユーザーの⾏動ログを抽出し、クラスター分析 • 物件情報、ユーザー情報を素性データに採⽤ l k-means法によるクラスタリング • k-means - ⾮階層クラスタリングを⾏うためのアルゴリズム、実⾏速度が速く拡張性が⾼い素性データ物件情報アクセスした物件 CVした物件 × クラスタリング素性データの組み合わせを入れ替えユーザー素性B ユーザー情報年齢/性別検索条件 ©2022 Yahoo Japan Corporation All rights reserved. ユーザー素性A

12.

ユーザークラスタリングによる物件レコメンドクラスタリング結果 l ５つのクラスタに分類 • 0:⼾建、アパート、部屋数が多い、広い、… • 1:アパート、安め、狭い、⽊造、… • 2:マンション、安め、狭め、早く⼊居したい、… • 3:マンション、⾼め、広め、駅近、オートロック、… • 4:アパート、⾼め、宅配ボックス、駐⾞場、… クラスタを以下のように定義５つのユーザークラスタクラスタ0 部屋が多く広い物件に住みたいファミリー層 ©2022 Yahoo Japan Corporation All rights reserved. クラスタ1 クラスタ2 クラスタ3 クラスタ4 ⼀⼈暮らしで家賃安めのお⾦と⽇程に広めのアパートに家賃低めの物件にマンションに余裕があるお得に住みたい早めに⼊居したい住みたいファミリー層

13.

ユーザークラスタリングによる物件レコメンドクラスタ毎の物件リスト l 各クラスタを主成分分析 • 得られた定数を各指標と掛け合わせてスコアを算出 αが⼤きいほど過去の情報を保持し、 αが⼩さいほど直近の情報に寄る w - 主成分分析に基づいて得られた重み l 各クラスタのユーザーが⾒ている物件をスコア化し、スコアが⾼い順でレコメンド ©2022 Yahoo Japan Corporation All rights reserved. 順位物件ID スコア 1 2 3 … 1001 2345 1234 … 5.123 4.678 2.345 … 順位物件ID スコア 1 2 3 … 5432 9012 3456 … 5.653 4.248 3.845 …

14.

物件のクチコミを⽤いたスコアリングクチコミ軸 l 物件のクチコミ + 評点を独⾃の計算式でスコア化 l 算出したスコアを⽤いて、以下のような軸で物件をレコメンド • ユーザの評価が⾼い • 建物・お部屋の満⾜度が⾼い • ⽴地・環境の評価が⾼い • デザイン・外観の評価が⾼い • 治安・安全の評価が⾼い • ・・・ ©2022 Yahoo Japan Corporation All rights reserved.

15.

16.

物件のクチコミを⽤いたスコアリングクチコミのスコアリング（改善前） l 以下の計算式でスコアを算出 • クチコミ情報以外に物件のCTR（クリック率）を利⽤ • CTRの重みは定性評価を⾏い、x0.5を採⽤ v CTRの重みを３パターンで定性評価 0.5 , 1.0, 2.0 score =クチコミ点数の平均点 + 重み v 点数が３以上のコメントの総数を 0~0.5 の範囲に納まるよう変換 f(CTR) + g(コメント数) 物件のCTR(クリック率）を0~1の範囲にばらつくよう変換 ©2022 Yahoo Japan Corporation All rights reserved.

17.

物件のクチコミを⽤いたスコアリングクチコミのスコアリング（改善前） l 計算式の問題点 • クチコミ点数の平均値を使っているため、クチコミの数を考慮できていない • クチコミ1件でクチコミ点数5の物件が上位に来る score =クチコミ点数の平均点 + 重み f(CTR) + g(コメント数) WIN! score = 5.123 ©2022 Yahoo Japan Corporation All rights reserved. score = 4.842

18.

物件のクチコミを⽤いたスコアリング⼆項分布による信頼区間算出 l クチコミ件数が多く、平均レビュー点数が⾼い物件を上位に表⽰させたい • ⼆項分布の信頼区間を使った⽅法で解決 • 信頼区間はクチコミ件数が多いほど狭くなる性質 • 信頼区間の下限値を利⽤信頼区間が広い下限値平均点数︓5.0 クチコミ数︓1 5.0 0 WIN! 平均点数︓4.6 信頼区間が狭いクチコミ数︓30 0 ©2022 Yahoo Japan Corporation All rights reserved. 10 4.6 下限値 10

19.

物件のクチコミを⽤いたスコアリングスコア算出結果 l レビュー件数の少ない物件のスコアは単純な平均点数より⼩さく⾒積もられるクチコミ数クチコミ平均点算出結果 1 5 3.39 10 4 3.50 クチコミ数クチコミ平均点算出結果 10 4 3.50 100 4 3.85 1000 4 3.96 l クチコミ数が⼤きいほど平均点数に近づく ©2022 Yahoo Japan Corporation All rights reserved.

20.

外観画像のスコアリング画像軸 l 不動産会社から⼊稿される物件の外観画像は、間取り図の画像も含まれている 1. 機械学習を使って画像をカテゴリ分類し、外観画像のみ抽出 2. 外観画像を解析し、画像の美しさをスコアリング（審美スコア） 3. スコアが⾼い順に物件を並べ、「外観がかっこいい物件」軸としてレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

21.

外観画像のスコアリング深層学習による画像のカテゴリ分類 l EﬃcientNetをベースにしたモデルを作成 • EﬃcientNet-B2 - 画像認識において処理時間を抑えつつ⾼精度 • Yahoo!不動産の画像データで転移学習（FineTuning）事前学習 (pretrain) 転移学習 (FineTuning) EﬃcientNet ベースモデル imageNet リビング間取り洗面外観外観トイレ FineTuning 81カテゴリに分類 ©2022 Yahoo Japan Corporation All rights reserved.

22.

外観画像のスコアリング深層学習による画像のカテゴリ分類 l 81カテゴリで、正解率74.24% l 間取り図の分類は正解率99.24% • 学習データ: 1,737,337枚 • テストデータ: 193,037枚 l 混同しやすいカテゴリ(「リビングダイニング」と「居間・リビング」など)がいくつかあり、そこで不正解になる傾向正解例不正解例外観画像である確率が高く判定できている ©2022 Yahoo Japan Corporation All rights reserved. 子供部屋である確率が低く判定されている

23.

外観画像のスコアリング深層学習による外観画像のスコア化 l GoogleのNIMAをベースにしたモデルを作成 • NIMA - 画像が技術的に審美的に美しいかを採点するCNNベースの画像評価モデル • 重いモデルを軽くするために蒸留(knowledge-distillation)し、軽いモデルで学習 • 学習には不動産のデータはなく公開データ(Open Images)を利⽤公開データ ©2022 Yahoo Japan Corporation All rights reserved. EMD Loss 審美スコアモデル（NIMAベース）

24.

外観画像のスコアリング深層学習による外観画像のスコア化 l 基本的に外観画像が綺麗なものがスコアが⾼い • テストデータ︓賃貸物件の外観画像（１００００枚） • 間取り図のスコアが⾼い • 違和感があるスコアの画像もある外観画像が綺麗 ©2022 Yahoo Japan Corporation All rights reserved. 不動産のデータを使って学習し精度をあげる間取り図画像はきれいだが・・・

25.

まとめまとめ l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l AIアシスト検索では以下のような機能を実現している • ユーザーの⾏動履歴を⽤いてユーザークラスタリングを⾏い、ユーザーに適した物件をレコメンド • 物件のクチコミを⽤いたスコアリングによる、クチコミ評価の⾼い物件のレコメンド • 外観画像の画像解析によってスコアリング⾏い、外観がかっこいい物件をレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

26.

まとめ今後の展望 l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l 学習モデルの精度向上を⾏い、より⾼精度なレコメンド⾏う • Yahoo!不動産以外のサービスにおける⾏動履歴の利⽤ l 地図UIや対話型学習（条件拡張/緩和）などを⽤いて、よりインテリジェンスな機能を提供 ©2022 Yahoo Japan Corporation All rights reserved.

27.