20240315_LPIXEL×CADDi_kaerururu

実例で示すKaggleコンペと開発実務の差 kaerururu @ CADDi

Who are you? ● kaerururu ● 仕事: MLOps 修行中の MLE ● 専攻: 経済史 ● 趣味: Kaggle, 釣り ● Kaggle ○ あと金一枚で GM (誰か力貸してください) ○ 画像やテキスト系のコンペを好んで参加 会社・ロール ドメイン × データ キャリアチェンジ前 金融系の営業とか SE とか ストックマーク MLE ビジネスニュース × NLP DMM.com MLE エンタメ × テーブル, 検索改善 CADDi 製造業 × 画像 MLE MLOps

Who are you? 会社・ロール ● kaerururu ● 仕事: MLOps 修行中の MLE ● 専攻: 経済史 ● 趣味: Kaggle, 釣り ● Kaggle ドメイン × データ キャリアチェンジ前 金融系の営業とか SE とか ストックマーク MLE ビジネスニュース × NLP 製造業ドメインないです ○ あと金一枚で GM (誰か力貸してください) ○ 画像やテキスト系のコンペを好んで参加 DMM.com MLE エンタメ × テーブル, 検索改善 CADDi 製造業 × 画像 MLE MLOps

Contents ● 図面について ● Kaggle とCADDi での機械学習モデル開発の比較 ● まとめ

What is 図⾯

What is 図面

図面には読み取るべき情報が多い 穴 角を切り 落とす 溶接 長さ 注意書き 製図者、材質、加 工の内容 etc

例) 溶接記号 (一部抜粋) ● 図面内で使われる記号 ● 日本の国家規格 (JIS) で定められている ○ 規格の新旧で違う記号が存在 ● ここにあげたものだけでも 17クラス ● 組み合わせで登場することも 記号 旧記号 記号 旧記号

(MLE からみた) 図面の特徴 ● いわゆる公開データセットやモデルみたいなものがない ○ ● ● 設計図 = 競争力 なので公開するインセンティブがない デカい ○ 現場ではテーブルに広げたりする ○ よくある大きさ (表) 画像サイズ (px) 自由度が高い ○ 共通プロトコルはあるが ... ○ 手書き、取消線、社内ルール ○ AI ってやつでなんとかして A0 11,589 × 16,384 A1 8,185 × 11,589 A3 4,093 × 5,787 A4 2,894 × 4,093

図面ドメインでの機械学習タスク 類似図面検索の精度向上 図面OCR 図面特有の記号認識 ● 画像ベクトル ● Object Detection ● Text Recognition ● Object Detection ● Classification 結構シンプル！

Kaggle と CADDi での ML モデル開発の取り組み⽅の⽐較

CADDi での ML モデル開発の流れ タスク設計 データセット 作成 モデリング 評価 推論コード 作成 デプロイ 運用

データセット作成 Kaggle でアノテーションのやり方は身につかないが … 多数のコンペに参加して得た勘所が活きる アノテーションデータを作成する 実務の 課題 Kaggleの 知見 ● 定義 ● 対象データ収集 ● アノテーション実施 ● どういうアノテーションのコンペは良コンペ だった ? ● 何枚くらいアノテーションすればいい ?

アノテーションの定義をする ● 推論結果 = 顧客価値につながるため、ユースケースを考えて定義 ○ ● PdM や社内の製造業ドメインエキスパートと相談 溶接記号検出のユースケース ○ 溶接する必要があるか否か ○ どこを溶接するか ■ ハイライトしたい etc… A 記号部分のみ ピンポイント 周囲の数字とか 文字とかまで シングル ラベル B マルチ ラベル

アノテーション対象のデータを集める Pseudo Labeling の経験やモデル作成の速さは アノテーションプロセスの効率化にも活きる 実務の 課題 ● CADDi で預かっているたくさんの図面から学習に必要な図面のみを集めたい ● アノテーションの工数削減のためプレアノテーションを実施したい ● 一度のアノテーションで欲しいラベルが全て集まるとは限らない ● 同一ホスト過去コンペのデータに擬似ラベルをつけて学習データを増やす Kaggleの 知見 (Pseudo Labeling) ● ベースラインモデルをサクッと作り、高速に検証を回す

モデリング・評価 変動する事業状況に追従し、チーム全体でプロダクトとしての性能要求 (精度+α)を満たすこと、運用まで見据えたモデリングが重要 評価データ Kaggle 実務 固定 変動あり 評価指標 モデル 再現性 アンサンブルし 自分のために てでも精度 重要 精度 シンプルさも重 チームの運用 速度 要 のために重要 精度

推論コード作成 Code Competition の普及、学習と推論を別環境でやる経験値は身に付く ● 未知データに対して検証時と同様の精度を担保したい ● 運用を見据えたコード品質 実務の 課題 Kaggleの 知見 ○ 単体テスト、型ヒント、静的解析 ○ ロギング、例外処理 ● コンテナ化 ● local で学習して、kaggle notebook で推論 ● 学習と推論で前処理を揃える (CV 通りのスコアがでるよう過不足なく ) ● 環境差分への配慮 (Kaggle Docker の利用)

運用 デプロイしてからが本番 安定して顧客価値を届けるために日々挙動を確認 もしもの時は迅速に対応する CADDi の ML チームで実際に見ているダッシュボード (抜粋) 他にも、レイテンシ, レプリカ数, レスポンス数 なども追っている

CADDi の ML チームでの学び ● ● ● データを集める工夫が面白い ○ データセントリックなアプローチ ○ プレアノテーション 精度だけじゃないモデル評価 ○ 精度はもちろん、コストやレイテンシとのバランスも大事 ○ どの関数で何秒かかっているのかとかも計測 運用が大事 ○ デプロイしてからが価値提供の本番 ○ バグを産みにくくするためコード品質向上の徹底 ○ 迅速な不具合対応のためのモニタリング

まとめ

まとめ ● 図面ドメインは解くべき課題、取れるアプローチが多い ● CADDi での ML モデル開発タスクの取り組み方を例に、どのように Kaggle で培っ た経験が活きるかをお話しした ● Kaggle と異なる視点での機械学習モデルの開発運用は楽しい