基盤モデルCLIPを活用した不動産広告画像品質評価

7.5K Views

May 16, 24

#lifull #ai #llm #大規模言語モデル #画像処理 #研究開発 #不動産 #画像認識 #CLIP #品質評価 #AI

スライド概要

2024年4月27日に開催された「第88回 Machine Learning 15minutes! Hybrid」にて発表した資料となります。Machine Learning 15 minutes! は機械学習に関するLTを複数人で行い、最新の技術や機械学習のプラットフォーム状況などを共有、議論する場です。第88回ではLIFULLから【基盤モデルCLIPを活用した不動産広告画像品質評価】と題して、不動産業界における大規模言語モデルの基盤モデルの活用に向けた研究開発事例を紹介しました。

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 1.02MB)

関連スライド

pmconf2023【プロダクトマネジメントで高速PDCA】アウトカムが激増したLIFULL HOME’Sのグロース事例

プロダクトマネジメントプロダクトマネージャー lifull

株式会社LIFULL 23.5K

HNSWの内部構造

lifull hnsw search

株式会社LIFULL 19.8K

CloudWatch LogsからGrafana Lokiにログ基盤を移行

lifull aws grafana ログ

株式会社LIFULL 18.2K

PrometheusとGrafanaで追求する、より良いアプリケーションの可観測性

lifull grafana ログ kuberentes

株式会社LIFULL 14.6K

LIFULL HOME'SでのSolrの構成と運用の変遷

lifull lifull home's engineering

株式会社LIFULL 11.4K

趣味と仕事の違い、現場で求められるアプリケーションの可観測性

技育祭エンジニア engineering programming プログラミング

株式会社LIFULL 9.6K

各ページのテキスト

目次 1. 背景 a. b. 画像情報の重要性画像分類モデルの作成に伴う労力 2. 関連研究 a. b. CLIP（Contrastive Language-Image Pre-Training） CLIP IQA（Image Quality Assessment） 3. 課題 a. どのようにCLIPのラベルを設定すると適切な評価ができるのか 4. アプローチ a. 効率的なゼロショット学習の方法を模索 5. 画像品質評価の今後 Copyright© LIFULL All Rights Reserved. 2

自己紹介嶋村昌義経歴 ● 2009年にインターネット・情報通信分野で博士（工学）取得 ● 産官学連携研究員・特任助教にて学術研究（約6年） ● 受託開発会社にて大学や企業研究所案件を担当（約6年） ● 2019年にLIFULLへ中途入社 LIFULLでの取り組み ● 研究開発PJ全般のマネジメントに従事 ● イノベーションマネジメント委員会に所属 ● データ横断チーム内でデータマネジメントにも従事 Copyright© LIFULL All Rights Reserved. 4

グループデータ本部データサイエンスグループの位置付け LIFULL LIFULL HOME’S事業本部プロダクトエンジニアリング部 LHプロダクトの開発や運用データ統括U 事業データの分析（アナリスト）イノベーション開発室生成AIなど新たな取り組みに挑戦テクノロジー本部全社基盤の構築や運用グループデータ本部 LIFULLグループで生まれるデータを安全に、効果的に活用できるようにすることデータサイエンス G Copyright© LIFULL All Rights Reserved. ● ● 活用価値のあるデータの創出データを活用した機能やサービスの研究開発 5

背景: 画像が購買活動に影響しうるのか楽天技術研究所の論文 [1] 画像品質（4種）とCTRの関連を分析画像を加工することでCTRが向上（向上率で平均115.7%） Expediaの事例 [2] 写真の掲載数が多いとエンゲージメント率やエンゲージメントタイムが増加人手で撮影サポートをすることで、予約率が上昇し、成約率も70%増加、宿泊予約泊数が前年比で150％～900％増と大幅に改善。 eBayの論文 [3] 画像品質が購買活動に大きな影響を与えていることを分析 Copyright© LIFULL All Rights Reserved. [1] Y. Chae, et al., "Enhancing Product Images for Click-Through Rate Improvement," Proc. 25th IEEE ICIP, pp. 1428-1432, 2018. [2] 宿泊施設サイトの画像が予約成約率に与える影響を実証実験、バスルーム画像などが高影響―エクスペディア, 2016. [3] W Di, et al., “Is a picture really worth a thousand words? - on the role of images in e-commerce,”. Proc. 7th ACM WSDM, pp. 633–642, 2014. 9

10.

11.

https://github.com/OpenAI/CLIP

12.

13.

14.

https://github.com/IceClear/CLIP-IQA

15.

課題設定 https://github.com/IceClear/CLIP-IQA/blob/v2-3.8/configs/clipiqa/clipiqa_attribute_test.py # classnames=[ # ['Aesthetic photo.', 'Not aesthetic photo.'], # ['Happy photo.', 'Sad photo.'], # ['Natural photo.', 'Synthetic photo.'], # ['New photo.', 'Old photo.'], # ['Scary photo.', 'Peaceful photo.'], # ['Complex photo.', 'Simple photo.'], # ]), 品質評価の観点毎に、テキストラベルのペアを与える必要がある →課題「どのようなラベルペアを与えれば適切に評価できるのか？」 Copyright© LIFULL All Rights Reserved. 15

https://github.com/IceClear/CLIP-IQA/blob/v2-3.8/configs/clipiqa/clipiqa_attribute_test.py

16.

ラベル決定の難しさ～たとえば「新しさ」で評価した場合～ # 同じ単語を繰り返した場合 ['new', 'old'], ['new new', 'old old'], ['new new new', 'old old old'], 0.30 0.12 0.05 # 語順の入れ替えた場合 ['good new', 'bad old'], ['new good', 'old bad'], 0.61 0.84 どの要因が効くのか直感的にはわからない・・・ Copyright© LIFULL All Rights Reserved. 16

17.

18.

19.

20.

21.

22.

23.

24.

アプローチ「ラベルチューニング」被験者が4点満点で評価生成AIで大量に生成 ②評価観点で主観評価 ③ラベルペアを生成 ⑤比較評価（② vs. ④） ④CLIP-IQAの評価値を算出誤差を定義して適したラベルを半自動で選定 ③のラベルで大規模処理今回は6つの観点で評価 ①評価観点を定義工程⑤で選定したラベルペアを推論で使用 Copyright© LIFULL All Rights Reserved. 24

25.

大規模な推論処理 ※2024/4/24時点仮に1物件に画像が10枚だとしても約150万枚の処理が必要 DWH（データウェアハウス）に格納 DWH 対象データの取得 Queue GPUインスタンス GPUインスタンス GPUインスタンス GPUインスタンス GPUインスタンス GPUインスタンス DWH https://www.lifull.blog/entry/2020/12/02/000000 弊社独自のアプリケーション実行基盤KEELを活用することで効率的に大規模な推論処理が可能 Copyright© LIFULL All Rights Reserved. 25

https://www.lifull.blog/entry/2020/12/02/000000

26.

27.

28.

29.

まとめ 1. 背景 a. 画像情報の重要性 2. 関連研究 a. CLIP IQA 3. 課題設定 a. どのようにCLIPのラベルを設定すると適切な評価ができるのか 4. アプローチ a. 生成AIと主観評価を活用したラベルペアの自動選定 5. 画像品質評価の今後の活用 a. 推薦エンジン、コンバージョン要因分析、自動補正、等 Copyright© LIFULL All Rights Reserved. 29

30.