「新しいおうち探し」のためのAIアシスト検索 #yjtc

「新しいおうち探し」のためのAIアシスト検索 COOバーティカル統括本部プロダクション2本部不動産開発部 アンドン 聖司 ©2022 Yahoo Japan Corporation All rights reserved.

写真いれる アンドン 聖司 不動産開発部 Yahoo!不動産の賃貸領域のFE/BEの開発を担当 2019年⼊社 趣味は映画鑑賞 業務では主にJava・TypeScript ©2022 Yahoo Japan Corporation All rights reserved.

このセッションについて Yahoo!不動産では「新しいおうち探し」が 体験できるAIアシスト検索を提供しています 今回はどのような技術によって実現されているのかを紹介します ©2022 Yahoo Japan Corporation All rights reserved.

AIによる新しいおうち探し AIアシスト検索で何を実現したいのか • 従来の不動産サイトでは、数百万もの物件からユーザーが条件を絞り込み、 物件の検索を⾏う • 不動産サイト側から、ユーザーの趣向や意図を適切に汲んだ レコメンド機能がない AIがアシスタントとなって、ユーザーの物件探しをお⼿伝い 店舗にいかずとも、対⾯接客と同等の物件提案が体験できる 従来は店舗で 提案された内容 ©2022 Yahoo Japan Corporation All rights reserved. 店舗に⾏かずとも オンラインで体験できる

AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸（≒切り⼝）で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸（≒切り⼝）で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸（≒切り⼝）で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸（≒切り⼝）で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 計 27軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸（≒切り⼝）で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 各軸をどのように実現しているか ©2022 Yahoo Japan Corporation All rights reserved.

ユーザークラスタリングによる物件レコメンド パーソナライズ軸 1. ユーザーの⾏動履歴を元に ５種類のクラスタに分類 2. 各クラスタに分類された ユーザーが⾒ている物件をまとめてリスト化 3. 「あなたの検索傾向からおすすめ」軸として レコメンド ©2022 Yahoo Japan Corporation All rights reserved.

ユーザークラスタリングによる物件レコメンド 素性データを⽤いたクラスタリング l Yahoo!不動産に訪問したユーザーの⾏動ログを抽出し、クラスター分析 • 物件情報、ユーザー情報を素性データに採⽤ l k-means法によるクラスタリング • k-means - ⾮階層クラスタリングを⾏うためのアルゴリズム、実⾏速度が速く拡張性が⾼い 素性データ 物件情報 アクセスした物件 CVした物件 × クラスタリング 素性データの 組み合わせを 入れ替え ユーザー 素性B ユーザー情報 年齢/性別 検索条件 ©2022 Yahoo Japan Corporation All rights reserved. ユーザー素性A

ユーザークラスタリングによる物件レコメンド クラスタリング結果 l ５つのクラスタに分類 • 0:⼾建、アパート、部屋数が多い、広い、… • 1:アパート、安め、狭い、⽊造、… • 2:マンション、安め、狭め、早く⼊居したい、… • 3:マンション、⾼め、広め、駅近、オートロック、… • 4:アパート、⾼め、宅配ボックス、駐⾞場、… クラスタを以下のように定義 ５つ の ユーザー クラスタ クラスタ0 部屋が多く 広い物件に住みた いファミリー層 ©2022 Yahoo Japan Corporation All rights reserved. クラスタ1 クラスタ2 クラスタ3 クラスタ4 ⼀⼈暮らしで 家賃安めの お⾦と⽇程に 広めのアパートに 家賃低めの物件に マンションに 余裕がある お得に住みたい 早めに⼊居したい 住みたい ファミリー層

ユーザークラスタリングによる物件レコメンド クラスタ毎の物件リスト l 各クラスタを主成分分析 • 得られた定数を各指標と掛け合わせてスコアを算出 αが⼤きいほど過去の情報を保持し、 αが⼩さいほど直近の情報に寄る w - 主成分分析に基づいて得られた重み l 各クラスタのユーザーが⾒ている物件をスコア化し、スコアが⾼い順でレコメンド ©2022 Yahoo Japan Corporation All rights reserved. 順位 物件ID スコア 1 2 3 … 1001 2345 1234 … 5.123 4.678 2.345 … 順位 物件ID スコア 1 2 3 … 5432 9012 3456 … 5.653 4.248 3.845 …

物件のクチコミを⽤いたスコアリング クチコミ軸 l 物件のクチコミ + 評点を独⾃の計算式でスコア化 l 算出したスコアを⽤いて、以下のような軸で 物件をレコメンド • ユーザの評価が⾼い • 建物・お部屋の満⾜度が⾼い • ⽴地・環境の評価が⾼い • デザイン・外観の評価が⾼い • 治安・安全の評価が⾼い • ・・・ ©2022 Yahoo Japan Corporation All rights reserved.

物件のクチコミを⽤いたスコアリング ヤフー不動産における物件のクチコミ l ユーザーが投稿した物件のクチコミ • クチコミ観点 ９種類の観点（お部屋の満⾜度、周辺環境・交通など） • クチコミ点数 ０〜５でクチコミ観点ごとの点数 • コメント 各クチコミのコメント ©2022 Yahoo Japan Corporation All rights reserved.

物件のクチコミを⽤いたスコアリング クチコミのスコアリング（改善前） l 以下の計算式でスコアを算出 • クチコミ情報以外に物件のCTR（クリック率）を利⽤ • CTRの重みは定性評価を⾏い、x0.5を採⽤ v CTRの重みを３パターンで定性評価 0.5 , 1.0, 2.0 score =クチコミ点数の平均点 + 重み v 点数が３以上のコメントの総数を 0~0.5 の範囲に納まるよう変換 f(CTR) + g(コメント数) 物件のCTR(クリック率）を0~1の 範囲にばらつくよう変換 ©2022 Yahoo Japan Corporation All rights reserved.

物件のクチコミを⽤いたスコアリング クチコミのスコアリング（改善前） l 計算式の問題点 • クチコミ点数の平均値を使っているため、クチコミの数を考慮できていない • クチコミ1件でクチコミ点数5の物件が上位に来る score =クチコミ点数の平均点 + 重み f(CTR) + g(コメント数) WIN! score = 5.123 ©2022 Yahoo Japan Corporation All rights reserved. score = 4.842

物件のクチコミを⽤いたスコアリング ⼆項分布による信頼区間算出 l クチコミ件数が多く、平均レビュー点数が⾼い物件を上位に表⽰させたい • ⼆項分布の信頼区間を使った⽅法で解決 • 信頼区間はクチコミ件数が多いほど狭くなる性質 • 信頼区間の下限値を利⽤ 信頼区間が広い 下限値 平均点数︓5.0 クチコミ数︓1 5.0 0 WIN! 平均点数︓4.6 信頼区間が狭い クチコミ数︓30 0 ©2022 Yahoo Japan Corporation All rights reserved. 10 4.6 下限値 10

物件のクチコミを⽤いたスコアリング スコア算出結果 l レビュー件数の少ない物件のスコアは 単純な平均点数より⼩さく⾒積もられる クチコミ数 クチコミ 平均点 算出結果 1 5 3.39 10 4 3.50 クチコミ数 クチコミ 平均点 算出結果 10 4 3.50 100 4 3.85 1000 4 3.96 l クチコミ数が⼤きいほど平均点数に近づく ©2022 Yahoo Japan Corporation All rights reserved.

外観画像のスコアリング 画像軸 l 不動産会社から⼊稿される物件の外観画像は、 間取り図の画像も含まれている 1. 機械学習を使って画像をカテゴリ分類し、 外観画像のみ抽出 2. 外観画像を解析し、画像の美しさをスコアリング （審美スコア） 3. スコアが⾼い順に物件を並べ、 「外観がかっこいい物件」軸としてレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

外観画像のスコアリング 深層学習による画像のカテゴリ分類 l EfficientNetをベースにしたモデルを作成 • EfficientNet-B2 - 画像認識において処理時間を抑えつつ⾼精度 • Yahoo!不動産の画像データで 転移学習（FineTuning） 事前学習 (pretrain) 転移学習 (FineTuning) EfficientNet ベースモデル imageNet リビング 間取り 洗面 外観 外観 トイレ FineTuning 81カテゴリに分類 ©2022 Yahoo Japan Corporation All rights reserved.

外観画像のスコアリング 深層学習による画像のカテゴリ分類 l 81カテゴリで、正解率74.24% l 間取り図の分類は正解率99.24% • 学習データ: 1,737,337枚 • テストデータ: 193,037枚 l 混同しやすいカテゴリ(「リビングダイニング」と「居間・リビング」など)が いくつかあり、そこで不正解になる傾向 正解例 不正解例 外観画像である確率が 高く判定できている ©2022 Yahoo Japan Corporation All rights reserved. 子供部屋である確率が 低く判定されている

外観画像のスコアリング 深層学習による外観画像のスコア化 l GoogleのNIMAをベースにしたモデルを作成 • NIMA - 画像が技術的に審美的に美しいかを採点するCNNベースの画像評価モデル • 重いモデルを軽くするために蒸留(knowledge-distillation)し、軽いモデルで学習 • 学習には不動産のデータはなく公開データ(Open Images)を利⽤ 公開データ ©2022 Yahoo Japan Corporation All rights reserved. EMD Loss 審美スコアモデル （NIMAベース）

外観画像のスコアリング 深層学習による外観画像のスコア化 l 基本的に外観画像が綺麗なものがスコアが⾼い • テストデータ︓賃貸物件の外観画像（１００００枚） • 間取り図のスコアが⾼い • 違和感があるスコアの画像もある 外観画像が綺麗 ©2022 Yahoo Japan Corporation All rights reserved. 不動産のデータを使って学習し精度をあげる 間取り図 画像はきれいだが・・・

まとめ まとめ l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l AIアシスト検索では以下のような機能を実現している • ユーザーの⾏動履歴を⽤いてユーザークラスタリングを⾏い、ユーザーに適した 物件をレコメンド • 物件のクチコミを⽤いたスコアリングによる、クチコミ評価の⾼い物件のレコメンド • 外観画像の画像解析によってスコアリング⾏い、外観がかっこいい物件をレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

まとめ 今後の展望 l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l 学習モデルの精度向上を⾏い、より⾼精度なレコメンド⾏う • Yahoo!不動産以外のサービスにおける⾏動履歴の利⽤ l 地図UIや対話型学習（条件拡張/緩和）などを⽤いて、 よりインテリジェンスな機能を提供 ©2022 Yahoo Japan Corporation All rights reserved.

©2022 Yahoo Japan Corporation All rights reserved.