【DL輪読会】CADTalk: An Algorithm and Benchmark for Semantic Commenting of CAD Programs

CADTalk: An Algorithm and Benchmark for Semantic Commenting of CAD Programs Yusuke Kondo (The University of Tokyo) 1

自己紹介：近藤佑亮（コンドウユウスケ） ➢東京大学 情報理工学 電子情報学専攻 ➢相澤・山肩・松井研 D2 ➢DeepEyeVision 株式会社 ➢眼科向け医療機器プログラムの研究開発 ➢株式会社 HICKY ➢ワイヤレス給電による体内埋込医療機器 2

書誌情報 ➢Website: https://enigma-li.github.io/CADTalk/ 3

• https://enigma-li.github.io/CADTalk/

概要 入力された CAD モデルの各コードブロックにパーツ名のコメント出力 ➢手法名: CADTalker, 評価用データセット: CADTalk 4

手法 ➢CAD プログラムへのコメント挿入を、画像ベースのセグメンテー ションタスクに帰着させて解く 5

手法の特徴 – CAD Model Parsing 6

手法の特徴 – Program parsing ➢これ以上分割できない Irreducible Blocks を Tree 解析して検出する 7

手法の特徴 – CAD Realistic Rendering ➢CAD モデル（左）からデプスマップを取得し、ControlNet でリアル 画像を生成（中）、リアル画像に物体検出を適用する 8

データセット ➢実世界の 3D CAD データセットに加えて、通常の 3D Shape Dataset から人工的に Cuboid / Ellipsoid のデータセットを生成 9

定性評価 GT Pred 10

定性評価 – 比較 11

評価指標 ➢Block Accuracy: ブロックごとのラベル精度 ➢全ブロック数 𝑛 に対して、正解したブロック数 𝑚 の割合 ➢ Semantic IoU: ∗ ➢全ラベル数 𝐾 に対して、各GTラベル 𝑙𝑘 と各予測ラベル 𝑙𝑘 の IoU 12

評価結果 ベースライン手法に対して、性能が向上した 13

Limitation: CADTalker のパイプラインで失敗したパタンの定性分析 ➢(b): 鳥の turkey と国の Turkey を勘違い ➢(c): DINO（物体検出）で broom を head と勘違い 14

まとめ ➢CAD データセットのセグメンテーションを画像セグメンテーション に帰着させると、良いベースラインになる 15