StreetCLIPはMapillary画像の都道府県を当てられるか

StreetCLIPはMapillary画像の 都道府県を当てられるか 2024/8/7 bannyaa

自己紹介 ✓SIerでおしごと ✓地図や地理空間情報は趣味 ✓娘の抱っこしすぎで膝を痛めた

きっかけ 画像から場所を推定するAIモデルは、どの程度 当たるのか🤔

StreetCLIPが使いやすそう • 画像から国名や地域名を推定するAIモデル • PythonのTransformersライブラリから利用できる • ライセンスはCC BY-NC-SA (商用利用は不可)

StreetCLIPをちょっと試してみる 画像 StreetCLIP 🤖 選択肢 [Tokyo, London, New York]

StreetCLIPをちょっと試してみる 画像 結果(選択肢に対する確率) StreetCLIP 🤖 選択肢 [Tokyo, London, New York] Tokyo: 99% London: 0% New York: 0%

問題設定

都道府県ごとに取得した画像の正解率を見たい 画像 都道府県ごとに画像を用意 StreetCLIP 🤖 選択肢 [Hokkaido, Aomori, Akita , …, Okinawa]

画像のオープンデータといえばMapillary 緑色の点すべてがユーザーの アップロードした画像(CC BY-SA) 出典：https://www.mapillary.com/app

Mapillary APIからどのように画像を取得するか？ 都道府県ポリゴンは"japonyol.net"から ダウンロードして加工(島しょを削除) Mapillaryの画像を取得する APIはBBOXで範囲指定 →都道府県内から偏りなくまんべんなく画像を取りたい

WebメルカトルのタイルをBBOXに使う ※zoom levelは12 →タイルをランダムに選んでMapillary APIのBBOXに設定 (Pythonのmercantile, shapelyライブラリで実現)

画像のとれないタイルをフィルタリングする

選んだタイルから画像を1つ取得する

都道府県ごとに画像を100点ずつ集めた 🤖 →StreetCLIPに画像の都道府県を判定してもらう

StreetCLIPによる判定結果

都道府県ごとの正解率 (%) 正 解 率 →島根、沖縄、岐阜の他はほとんど当たっていない😅

なぜ当たらないのか？(推測) ✓都道府県全域から画像をとると郊外の割合が多め。 ✓郊外の画像は、山、道路(トンネル)、木など判定の手がかりが少ないものし か写っていない。

これから中身調べます。 ありがとうございました。