Chroma blur (日本語での説明)

Siggraph Asia 2017

公式サイト • http://bankslab.berkeley.edu/publications/chromablur/

• http://bankslab.berkeley.edu/publications/chromablur/

概要 • 網膜に映る光は水晶体で周波数ごとに屈折して色収差を生じる

概要 • 物体の位置に応じてボケの広がりを変えるだけでなく色収差も シミュレートする

概要 • アルゴリズム：3次元空間から届く光について、網膜に映る映 像が近しい2次元画像を生成する

Abstruct • レンダリングアルゴリズムは知覚的なリアリズムを目指すべき • 人間の目の色収差を考慮に入れた • ChromaBlurの効果を示す2つの実験をした • 目の焦点合わせ • ChromaBlur: 効果的に行われる • 従来の方法：調整が全く行われない • 知覚される深度とリアリズムが従来よりも高い • 目の調節とぼかしの自然な関係を再現するのに、視線トラッキ ングや焦点調節可能レンズのHMDなどと組み合わせられて、輻 輳調節の矛盾を最小化できる

1 INTRODUCTION • 三次元で見る際は、深度の手がかりに基づかれている • CGではいくつかは再現されている • 遠近法ベースの深さ手がかり（例えば、線形パースペクティブ、テク スチャ勾配、相対サイズ） • 光輸送ベースの手がかり（例えば、陰影、空気遠近法、オクルージョ ン） • 三角測量に基づく深度手がかり（両眼視差、動き視差、および焦点手 がかり） • 視差（ HMD において。アイトラッキングでは動きの視差も） • 残されている問題は焦点手がかりの再現 • ぼかしと眼の調節

ぼかし • 符号なしとして扱われてきた • 焦点面より遠くても近くてもおなじくぼける • 自然なボケは符号情報を持つ • 適切な方向に眼の調節を駆動する[Kruger et al. 1993] • 深度の順序を知覚する[Nguyen et al. 2005; Zannoliら 2016] • そのような光信号の1つは色収差（本論文で扱う） • 被写界深度 • 適切な値に設定することで、スケールと深さの正確な認識が可能になり知覚 されたリアリズムが増加される • 従来のレンダリングでは、 「フォトリアリズム」に焦点を当て色収差のない レンズが取り扱われてきた • VRでは、 「知覚的リアリズム」を強調すべき • 仮想環境での没頭を可能にするため • 網膜上の実際の画像は収差があるので、写実的な画像に近いものではない。

本稿の目的 • 自然収差を組み込んだレンダリングを実装方法の説明 • 網膜画像が何であるべきかを計算し、次いで、観察者の眼を通して処理さ れたときに、意図された自然な網膜画像を生成する表示画像を計算するこ とを含む • 2つの重要で普遍的な収差（デフォーカスと色収差）に焦点を当てる • 貢献 1）デフォーカスと目の自然な色収差を組み込んだ、色補正レンダリング方 式ChromaBlurを開発し、現実の世界を見たのに近い網膜画像を生成 2）このレンダリング手法は、眼の調整を効果的に推進する 3）この方法は、従来のレンダリングよりも深度の印象が高くなる

2 RELATED WORK • グラフィックスはリアルな画像を求めてきた • [Kolb et al. 1995]:カメラレンズの光学式の物理的なレイトレーシング[Pharr and Humphreys 2014]によって現 実的なカメラモデルを導入 • [Steinert et al. 2011]: 色収差などのスペクトル効果を含めるためにこのアプローチを拡張 • [本稿]カメラのような収差の最小限な画像ではなく現実的な網膜画像を作成する表示画像を作成したい • 網膜画像のレンダリング • いくつかのグラフィック研究者[Barsky 2004; Kakimoto et al. 2007; Mostafawy et al. 1997; Nießneret al. 2012; Tang and Xiao 2015; Wu et al.2011] • [Polans et al. 2015]:ビジョンサイエンスの文献による正確な眼モデルを用いて、Kolbのスタイルで最もよく 使われているレイトレーシング • Barsky：眼の高度に収差についてシャックハルトマン波面測定を使用 • これらのグラフィックスアルゴリズムは、眼鏡、コンタクトレンズ、またはレーシック手術によるどのよ うなタイプの矯正が彼らのビジョンをどのように助けるかという印象を顧客に与えることを含む多くの用 途を有する。 • 私たちのゴールとはかなりちがう • Deeringの眼モデル[2005]：色収差を説明 • 各受光体での正確な光子数を計算するためのもの • 目標の1つは、ディスプレイシステム設計の原則評価 • 人間の知覚または応答を考慮する前の測光計算で停止 • 本稿の中心的な貢献は、目のデフォーカスと色収差による知覚と眼球運動の反応を測定

輻輳調整矛盾 • 輻輳と眼の調節は神経的には結合している[Schor 1992] • 目が収束して焦点を合わせるべき距離が常に同じ現実世界で有益 • 立体視ディスプレイでは関係が壊れる：２つの距離に対応する必要がある • ディスプレイ（ディスプレイ画面）の距離 • 仮想オブジェクトの距離に収束する必要がある • 輻輳調整矛盾が引き起こす不具合 • 視覚的不快感[Hoffman et al. 2008; Koulieris et al. 2017; Lambooij et al.2009; Shibata et al. 2011] • パフォーマンスの低下[Akeley et al. 2004; Johnson et al. 2016; Konrad et al. 2016; Maiello et al. 2014] • 知覚深度のゆがみ[Watt et al. 2005] • [本稿] 眼の調整をより効果的に管理し、それによって輻輳調整矛盾 を最小限に抑える機会を提供する

3 OPTICAL ABERRATIONS OF THE EYE • (人間の目は様々な視野依存の光学的不完全性を持っているが)光軸 上の効果に限定する • 視野の中心10°にわたって光学的品質が合理的に一定[Navarro et al. 1993] • 光学的不完全性が中心窩の近くではるかに顕著 • このセクションで説明すること • レンダリング方法にデフォーカスと色収差のみを組み込む理由 • 組み込まれる可能性がある他の不完全さをなぜ無視したのか

3.1 Defocus • 目が対象物と異なる距離に焦点を合わせることから生じる効果 • 視点が合っていない箇所は円板状にぼける • 眼の遠近調節は、注視点におけるデフォーカスを最小にしようとする • 円板の直径の近似 • • • • • β：角度単位 A：瞳孔直径 z0：眼が合焦する距離 z1：ぼやけた画像を生成する物体までの距離 ΔD：ジオプトリ（レンズの屈折力の単位で焦点距離の逆数をメートルで表したもの）での距離 の差である[Held et al. 2010] • デフォーカスのみによるPSF(point spread function)は、対象物が目の現在の焦点より遠 いか近いかにかかわらず同一であることである • デフォーカスのレンダリングは、シーンの遠い部分および近い部分について同じ

3.2 Chromatic Aberration • 眼では周波数ごとに屈折率が異なる • 軸方向色収差（LCA）：焦点距離の波長依存性の差 • 580nmで焦点が合っている際のディオプトリ[Marimont and Wandell 1994] • • λ：ナノメートルでの波長 LCAの大きさはすべての成人の眼で同じ [Nakajima et al. 2015年; Thibos et al. 1992] • 焦点を変えると色効果がおきる • 白い点を見る • 白い点に焦点を合わせる：鮮やかな緑色の中心の周りに紫色の縞が見える • • • 緑は網膜の画像では鮮明で、赤と青は鮮明ではないので 白い点よりも近くに焦点を合わせる：画像は青い縞で囲まれた鮮明な赤色中心となる 白い点よりも遠くに焦点を合わせる：画像は青い中心と赤い縞がでる • LCAは、眼の焦点が合っているかを示し、合わない際は、どちらの方向に焦点を合わせるべきかを示せる • Krugerら：遠近調節におけるLCAの役割を調べた[Aggarwala et al. 1995; Kruger et al. 1993] • 片眼に網膜サイズの一定の刺激を与え、焦点距離の変化に対する調節応答を測定 • • 特別なレンズを使用して、LCAを操作 LCAが変更されていない場合は遠近調整が正確 • 一部の被験者は、LCAが逆転したときに間違った方向に調節していた • LCAが奥行き知覚に影響するという証拠もある • Zannoliら[2016]：それぞれの目に異なる焦点距離の広い面を提示した • • • 被験者は深度の順序を正しく知覚した しかし、刺激の波長スペクトルが狭くなると（LCAの有用性が低下する）、性能は著しく低下 これらの遠近調節および知覚の結果は、色の縞がなどが知覚されなくても、LCAが視覚機能に寄与するという良好な証拠

3.3 Other Aberrations • 球面収差や補正されていない非点収差 • 網膜画像に顕著な影響を及ぼす[Lopez-Gil et al. 2007; Peters 1961] • 画像をシャープにするために、目がどちらの方向に調整しなければならないかを知ら せられる • 本提案手法では組み込まなかった • 個人差があり、普遍的なレンダリングの解決策が実現できなかった[Cheng et al. 2004; Salmon and van de Pol 2006] • 回折 • 普遍的であるが、瞳孔が非常に小さい場合を除き、網膜画像にはほとんど影 響を及ぼさない • 軸上の影響のみを考慮 • LCAと眼の他の収差は、視野の中央30°にわたってかなり不変なので [Liu and Thibos 2017; Rynders et al. 1998] • 例外：網膜偏心が増加するにつれて大きさが増加する非点収差[Liu and Thibos 2017]

4 RENDERING METHOD • ChromaBlurは、現実的な網膜画像を再現するのに最適な、ディ スプレイに表示されるピクセル値を計算することを目指す

4.1 Optical Model (Forward Algorithm) • ぼかしを計算する従来の手順（私たちとはまったく異なる） • ビジョン・サイエンス • デフォーカスはほとんどの場合、シーンの一部を2次元ガウシアンで畳み込むことで近似 [Mather and Smith 2002; Subedar and Karam 2016; Watson and Ahumada 2011] • グラフィックス • デフォーカスは、通常、色収差のない理想的なレンズによって近似 • 我々のレンダリングモデル • デフォーカスとLCAが組み込まれる • 他の光学的効果もあるが、単純さと普遍性のためにこれらを無視（3.3節）

4.2 Conceptual Rendering Algorithm • アプローチは2段階のプロセス • 前方計算 • 目標の2次元画像を決定 • 与えられたシーンに応答して網膜に現れたであろう信号を表す • 逆問題 • 目で見たときに目標画像に最も近似する網膜画像を生成する画像の画素値を決定 • 表示画面上に視線があると仮定 • 緑色の原色は網膜に合焦するけれども、赤色と青色は網膜に合焦しない • 2つのアルゴリズム（2dと3d）を作成した • どちらも2ステッププロセス

4.3 2d ChromaBlur Algorithm • 異なる距離のテクスチャ面からなる2次元シーンを使用 • 2d ChromaBlurアルゴリズムでレンダリング • デフォーカス、LCA、回折を組み込んだ物理（波）光学シミュレーション • 目標網膜画像I {R,G,B}（x,y）から、スクリーン上に表示する画像D {R,G,B}（x, y）を計算 • 各色の原色に対して、眼の（光の振幅と位相を考慮する）複素開口関数のフーリエ変換の二乗か ら計算されたPSFである波長依存のブラーカーネルK {R,G,B}（x,y）を計算 • 目標の網膜画像は、3つのカラーチャネル（{R,G,B}）のそれぞれについて、PSFを用いて表示画像を 2次元の畳み込み（**） • 誘導されたデフォーカス(注視深度)を 変化させ、最適な画像が表示されるまで 前方モデルの解と比較することで D {R,G,B}の値を生成 • 2Dシーンではうまく機能するが 複雑な3Dシーンには適していない • 従来のグラフィックス技術に基づいていないため

4.4 3d ChromaBlur Algorithm • 複雑なシーンをレンダリングするための一般的なグラフィック スシステムへの適用を可能にする 4.4.1 Forward Step: Monte Carlo Ray Tracing • 目標網膜画像の生成にモンテカルロレイトレーシングを利用 • 有限開口レンズを使用する単純なモデル • レンズの焦点距離が式（1）で定義される波長に応じて変化 • 各代表波長を1つの代表波長で近似 • Mitsubaレンダラー [Jakob 2010]で実装

4.4.2 Inverse Step: ADMM Optimization • 各色の原色に対して、最適化方程式を解くことによって表示画像D（x、y）を計算(RGBは省 略) • データ項：目標網膜画像と表示画像によって生成された 網膜画像との間の誤差のL2ノルム • L1正則化項：表示された画像解が勾配領域において疎である という事前の信念に対応する、全体的な変動画像 • データ項のみによって定義される逆畳み込み問題は、一般に、 カーネルのフーリエ変換におけるゼロ項で不適切が生じるため • 第3項：推定された表示画像を最小値と最大値の間の0と1の間に制限 • 表示画像が0と1に限定されなければならない • リンギングのような不自然なアーチファクトを低減する正則化項のため、 残差はゼロにならない。 • 式4を解く際には、リンギングアーチファクトを最小限にするために ぼかしカーネルK(円柱関数)をわずかに平滑化する • ADMM(alternating direction method of multipliers) [Boyd et al. 2011]を用いた逆畳み込み解決 • このような問題の標準的なアルゴリズム • 問題を繰り返し解決されるサブ問題に分割 • 私たちを含む多くの問題では、部分問題には計算効率が高い閉形式の解がある • データ項と正規化項は両方とも凸面、閉じた、適切なものであるが、この場合、グローバルなソリューションに収束す ることが保証されていまいる • 凸であるが、L1ノルムのためにどこでも微分可能ではないため、直接的な分析式はない • ψ= 1.0の正則化重み、ADMM超パラメータρ= 0.001を使用して、100回の反復で計算

5 RENDERING RESULTS • 網膜画像と作成された表示画像を検討 • 最初にステップエッジの白黒画像を検証

5.1 Step Edges • 図3：現在の目の焦点よりも1.4D近い位置にあるエッジでの網膜 にわたる強度の変化（正の焦点外れ） • 青は緑と赤よりもシャープで、青みがかった縞ができる • オブジェクトが現在のフォーカスよりも遠い場合（負のデフォーカス）逆が発生

従来法 提案法 シミュレーションでの 表示画像および網膜画像 • 焦点はスクリーンに合わせる • 従来法 • 緑は、視聴者のLCAのために、青と赤よりも網膜の画像 でややシャープ • レンダリングされたぼやけによって消える • 図3との差：誤差は青と赤で発生 • 青：その波長での従来のレンダリングによる網膜画 像があまりにも鮮明であるため • 赤：その波長での従来のレンダリングによる網膜画 像が十分に鮮明でないため 網 膜 画 像 • ChromaBlur • 3つの波長すべてで誤差は非常に小さい • 自然なものに非常に近い網膜画像を作成することを 示す 図 3 と の 差

定量評価 • 実際の網膜像とレンダリングされた網膜像の間の誤差を定量化 • • • • x：位置 Rreal（x）：実際のエッジの網膜強度 Rsim（x）：シミュレートされたエッジの網膜強度 N：サンプリングされた位置の数（これらの計算ではN = 65） • 従来法 • ～0.25Dより大きいすべてのデフォーカス量でかなり誤った結果 • ChromaBlur • デフォーカス量が1Dより大きく、デフォーカスが~0の場合にはるかに正確な結果を生成 • 小さなデフォーカス値で幾分誤りのある結果 • 実際のシーンでは小さな正のデフォーカスでは、デフォーカスが0のときよりも、青が網膜の画像にもっと鮮明にピントが 合う • 同様に、小さな負のデフォーカスでは、赤がシャープになる • これをシミュレートするには、表示された画像を青と赤でそれぞれ鮮明にして、正と負のデフォーカスをシミュレートする必 要がある • オブジェクトのコントラストが～100％の場合は実行ない

実は、もう一つ近似 • LCDのような実際の原色の原色は、広いスペクトルを有するが、 1つの波長ごとに1つの波長で近似 • オフピークの波長に対して正しいぼかしを再現しませんが、エラーは 一般に非常に小さい（補足資料の詳細）

5.2 Complex 3d Scenes • 複雑なシーンの表示画像と網膜画像を検討 • 焦点距離は2.5D • 下のパネル：シーン内の水平方向の断面の距離と各手法での差 • ChromaBlurは、望む網膜画像に似た網膜画像を生成 • デフォーカスの大きさによらず優れた結果を出す • コントラストが低くても優れた結果を生み出す

6 DOES CHROMABLUR DRIVE ACCOMMODATION? • 眼の遠近調節反応を促すのに役立つかどうかを調べることで、 自然な焦点手掛かりを作成するのに効果的か調べた • ５人の正常な色覚（３人はコンタクト） • 左目に画像。右目で測定（左右の焦点は一致する） • ３秒間画像を表示、1.5秒間は灰色画像 • 252回の試行（144:物理的に焦点を変更、36:従来法、72:提案法） 物理的に焦点を変更 赤外線で網膜画像 を撮影 1920×1080 最初 変更 灰色

6.2 Results • 提案法は物理的な変化と同じような遠近 調整が行われた • 正の方向でも負の方向にずらしても • 従来法では遠近調整が生じなかった • 統計的信頼性の評価のために複数比較の Bonferroniの調整を用いたTukey Contrasts 方でも有意差が得られた • 色収差だけで遠近調整が行えることが示 された • デフォーカス以外の効果は入れていないので

6.2.1 Persistence of response • 提案法を用いて遠近調整された後、全体的に ボケの大きさがかわる（ので、本来の画像と は正しくないはず）なので、短期的に遠近調 整を促しても長時間ではどうなるかわからな い • 10秒の長さに長くして計測 • 10秒間でも遠近調整が維持されている • 遠近調整するときは、ボケの量ではなく、前後の周波数 による相対的なぼかし量を使用していると考えられる

6.2.2 Resolution • 市販のHMDの低解像度(3.2-6.4minarc（ナイキスト周波数4.79.4cycles / deg）)でのChromaBlurの有効性を検討 • 再サンプリングして、低い解像度の画像を生成 • 装置のネイティブピクセルサイズは1.1×1.1minarc • 2.2,～ 8.8minarcの解像度で 効果があった • 色収差はくっきりとした境界と なったのに効果はあった • 結論：現在の世代のHMDでも 提案法は効果的

7 DOES CHROMABLUR ENHANCE REALISM? 複雑な3DシーンでChromaBlurが奥行き感のリアリティ高めるか調査した • 7.1.1被験者。 • • 5人の素朴な被験者（23～31歳、女性4人）が参加 すべて正常または矯正されて正常、および正常な色覚 • 1人の被験者が実験中に矯正コンタクトレンズ • 7.1.2装置。 • 遠近調整の実験と同じ装置（遠近調整を測定してはいない） • 7.1.3刺激。 • 刺激は3つのレンダリング方法で生成 • • • • • • 従来法 ChromaBlur LCAが反転された逆ChromaBlur 目標網膜画像（順モデル）は、Mitsuba [Jakob 2010]で生成 コントラストの高いテクスチャの小さいボールを固定目標とした（ボールに焦点を固定し、集中させるように指示） 各試行では、5つの焦点距離のうちの1つをランダムに提示（0.5, 1.25, 2.0, 2.75または3.5D) • 7.1.4手順。 • • • • • • • 焦点調整可能なレンズでボールの焦点距離に設定され1.5秒間表示 低コントラストで表示 750msコントラストを上げるが、各レンダリング手法で表示 250msでコントラストを下げる 750msコントラストを上げるが、別のレンダリング手法で表示 250msでコントラストを下げる（おしまい） どちらがよりリアルな深度に感じたかを聞く

7.2 Results • ChromaBlurは統計的に一番有意 • 従来よりも逆ChromaBlurの方がより現実的に受 け止められた • 色の効果を反転させても現実感に影響は及ぼさない

8 DISCUSSION • 8.1 Summary • 人間が目で見たときに、デフォーカスおよび色収差に関連する深度依存光学的影響を近似する表示画像を計算する方法について説明した。 ChromaBlurの方法は、遠近調整を駆動する上で非常に効果的であり、知覚された現実感に有益な効果があることを示した。 • 8.2 Coupling ChromaBlur and Focus-Adjustable Lenses • • ChromaBlurレンダリング技術と焦点調節可能なレンズ [Johnson et al. 2016; Konrad et al. 2016; Koulieris et al. 2017]を結合して、意図した距離 まで確実に調節を行うことができるディスプレイを作成できる。 アイトラッキングは、視聴者の固定距離を瞬時に推定するために使用することができる。 • 8.3 Applications • • VRやARでは、輻輳を最小限に抑えることができ、快適さとパフォーマンスが改善される。また、リアルな感覚を得ることができる 老齢者（高齢化のために遠近調整できない人）は、ディスプレイを眼鏡またはコンタクトレンズなしで使用可能にすることもできる • 8.4 Nulling Viewer’s LCA • ChromaBlurはデコンボリューションまたは類似のプロセスを必要とする（式4） • • これは計算量が多く、高いコントラストで基本的な制限がある（図5） 観察者の眼のLCAを元に戻すことによって、この制限を回避し、計算時間を大幅に短縮することができる • • • LCAをゼロにするように設計された静的レンズを用いて行える[Kruger et al. 1993] または高速で調整可能なレンズのパワーを同期させることによって、測定することができる[Hu and Hua 2015; Love et al. 2009] 自然LCAを光学的にゼロにすることにより、デコンボリューションを行う必要がなくなる • 8.5 Rendering Speed • • • • レンダリング時間は数分 焦点調節可能なレンズを使うと時間を短縮できる OpenGLでディスクボケの計算は行えるが、正確ではない。リアルタイムレイトレーサー（Embree、Optix; [Parker et al. 2010; Wald et al. 2014]）は早くなりそう。 100回の反復のADMM最適化をTikhonov正規化デコンボリューションにすると１回の反復にできそう [Fortunato and Oliveira 2014]。この逆問 題のステップはまた、Halidi[Ragan-Kelley et al. 2013]のような高性能な画像処理システムにも適している