（ダウンロード不可）
関連スライド
各ページのテキスト
Color Lines とChromaticity Line を用いた高精度な照明色推定 大阪工業大学 情報科学部 情報知能学科 伊地知翔也
研究背景 ・ディープラーニングによる画像認識，物体識別の高精度化 ・ 前処理で画像補正することで，学習の高速化，高精度化が期待される ・既存の水増しだけでは水増しできなかった状況に対して脆弱 ・ 画像から正確に物体を識別しやすくなる 人間には自然とこれら照明の推定，補正が自然にできる → 色恒常性 と呼ばれる． 2
照明色推定 Gehlerデータセット（Reprocessed Gehler | DATASETS | UEA Colour Group）より引用 3
照明色推定 補正前画像 補正後画像 物体の色を白色光源の下に置いたときの色に戻すことで，照明の色に惑わされず，物体の色を知ることが できる 4
物体の色（retinex理論） 物体の色がどう見えるかは以下式でモデル化できる カラーチャンネル：𝑐 ∊ {𝑅, 𝐺, 𝐵}(𝑐は，R, G, Bを取りうる) 観測色: 𝑓𝑐 カラーチャンネル𝑐に対する物体表面の反射率: 𝑅𝑐 カラーチャンネル𝑐に対する照明の色: 𝐼𝑐 𝑓𝑐 = 𝐼𝑐 𝑅𝑐 物体の見え方は照明色とその色の反射率の積で決まる （ただし，厳密にはカメラの画素センサの特性も関わるが，おおむね無視できる） 5
物体の色を推定する 物体の色がどう見えるかは以下式でモデル化される カラーチャンネル：𝑐 ∊ {𝑅, 𝐺, 𝐵}(𝑐は，R, G, Bを取りうる) 観測色: 𝑓𝑐 カラーチャンネル𝑐に対する物体表面の反射率: 𝑅𝑐 カラーチャンネル𝑐に対する照明の色強度: 𝐼𝑐 𝑓𝑐 = 𝐼𝑐 𝑅𝑐 物体の見え方は照明色とその色の反射率の積で決まる 𝐼𝑐 を推定できれば物体の色がわかる （白色はR,G,Bすべてがとりうる値の最大値のことであるから，反射率がそのまま物体色になる） 6
Color Lines による照明色推定 7
Chromaticity Lineによる照明色推定 入力画像 セグメントごとに平均化 Chromaticitiy Lineの算出 引用：Z. Zhao et al., “Improving Color Constancy Using Chromaticity-Line Prior” 8
ChromaticityLine と ColorLineの併用 仮定 ◦ Chromaticitiy Lineの直線付近には照明色がある ◦ Chromaticitiy Lineから離れたColor Lineの直線は照明色の推定に不適である したがって，Chromaticitiy Lineの距離でColor Lineを選別する 9
Color Lines とChromaticity Line を用いた高精度な照明色推定 Color Linesによる照明色推定: * 画像を局所領域に分割 * 分割画像ごとにColorLineを算出 * 算出されたColor Lineの交点を算出 * 最も多い交点の座標から照明色を算出 Chromaticitiy Lineによる照明色推定： * 画像を局所領域に分割 * 分割画像ごとに平均をとり，XYZ表色系へ変換 * ChromaticityLineを算出 * 他アルゴリズムの結果をXYZ表色系へ変換し，同じ座標系へ投影 * 近傍点を照明色として算出 10
Color Lines とChromaticity Line を用いた高精度な照明色推定 Color Linesによる照明色推定: * 画像を局所領域に分割 * 分割画像ごとにColorLineを算出 * 算出されたColor Lineの交点を算出 * 最も多い交点の座標から照明色を算出 組み合わせる Chromaticitiy Lineによる照明色推定： * 画像を局所領域に分割 * 分割画像ごとに平均をとり，XYZ表色系へ変換 * ChromaticityLineを算出 * 他アルゴリズムの結果をXYZ表色系へ変換し，同じ座標系へ投影 * 近傍点を照明色として算出 11
Color Lines とChromaticity Line を用いた高精度な照明色推定 Color Linesによる照明色推定: * 画像を局所領域に分割 * 分割画像ごとにColorLineを算出 * 算出されたColor Lineの交点を算出 * 最も多い交点の座標から照明色を算出 重みづけ Chromaticitiy Lineによる照明色推定： * 画像を局所領域に分割 * 分割画像ごとに平均をとり，XYZ表色系へ変換 * ChromaticityLineを算出 * 他アルゴリズムの結果をXYZ表色系へ変換し，同じ座標系へ投影 * 近傍点を照明色として算出 12
ChromaticityLine と ColorLinesの併用 アルゴリズム 1. 画像から複数のColorLineの算出する 2. ColorLineとChromacityLineの直線との距離となす角を重みとする X 3. 重みを exp Ti 温度付きSoftmax(= 𝑋𝑖 )で正規化する σ exp( ) 𝑇 ◦ 温度パラメタでChromaticityLineの影響度（分布の尖度）を調整するため ◦ 本提案手法では，温度を0.5とした 4. 重みを各直線のボクセル投票数に乗じる Color Lines: Image Specific Color Representation. Ido Omer and Michael Werman より引用 13
温度付きSoftmaxの効果 温度を大きくしたとき 温度T=100 正規分布 温度を小さくしたとき 温度T=0.1 分布の尖度を変更してChromaticityLineの影響度を変更できる 14
結果 method mean median trimean best25% worst25% 1st-order Gray edge 4.390 3.000 3.280 1.290 9.890 2nd-order Gray edge 4.360 3.000 3.210 1.240 9.920 Gray world 6.800 5.450 5.770 1.940 14.030 Shades of gray 4.030 2.880 3.190 0.700 9.250 White patch 4.780 3.190 3.530 0.910 11.460 内海 4.947 3.135 3.645 1.807 11.409 提案手法 4.689 3.640 3.832 1.849 10.214 Gehlerデータセット 15
結果 Gehlerデータセット：青：提案手法，赤：先行研究手法 16
結果 改善パターンは，画像に若干， 口径食が確認できる （画像のゆがみ） 改善パターン ： 31.487 → 2.419 [deg] 改善パターン ： 28.697 → 1.806 [deg] 17
結果 悪化パターンは，画像内の色 数が少なく， のっぺりとした印象を受ける． 悪化パターン ：11.557 → 30.249 [deg] 悪化パターン ： 2.213 → 18.687 [deg] 18
まとめ 考察 改善策 ・中央値が改善しなかった ・Chromaticity Lineから離れたColor Lineが少なかったため ・ 色数が少ない画像の場合は悪化した ・ColorLineがそもそも少ないため ・補正できるChromaticityLineが少なかったため ・ ChromaticityLineの温度パラメタを条件によって変える ・温度パラメタを低くする場合 ・ ChromaticityLineの尤度が低い場合 ・画像の色数が少ない場合 ・温度パラメタを高くする場合 ・画像に口径食が検出された場合 19