私のブックマーク
高ダイナミックレンジ画像処理
松岡 諒（北九州市立大学国際環境工学部）
1．は じ め に
人間の視覚特性は，自然シーンにおける広いダイナミックレンジの輝度を捉える ことができ，例えば暗い室内から明るい屋外を見たときに屋内屋外どちらの情報も認識できる．ここでのダイナミックレンジとは，最も明るい部分と最も暗い部分の明暗の比のことである．一方，近年普及している高性能カメラにより人間の見た目に近い自然な画像の取得が容易になりつつある．しかしながら，先に述べたような明暗差の非常に大きいシーンにおいて，一般的なイメージセンサでは，画像の一部に黒つぶれや白飛びが生じ不自然な画像を生成する場合がある．なぜこのような現象が生じるのだろうか？
一般的なカメラに搭載されているイメージセンサには，光を電気信号に変換する素子が敷き詰められており，これによりシーンの光（スペクトル）情報をディジタルデータとして保存することができる．通常カラー画像は，R（赤），G（緑），B（青）三色のスペクトル情報をもち，それぞれ0 から255 までの256 階調（8 bit）の整数値を画素値としてもつ．ここで，暗い領域では画素値が0 に近い値をとり，一方で明るい領域では画素値が255 に近い値をとる．しかしながら，素子で保存できる輝度のダイナミックレンジは，自然シーンの広いダイナミックレンジよりもしばしば狭いため，人間が知覚可能なシーンにもかかわらず画素値0 のみをもつ領域や画素値255 のみをもつ領域が存在する画像が生成される（図1）．これらの現象はそれぞれ黒つぶれ，白飛びと呼ばれている．この画素飽和の問題を解決しシーンの輝度情報を忠実に再現する方法として，高ダイナミックレンジ（HDR）画像生成技術 が提案されている．
HDR 画像とは，自然シーンの広いダイナミックレンジの情報を保存することができる画像形式であり，CG レンダリング，車載カメラや監視カメラ，医用画像などさまざまな分野で利用されている．一般に，HDR 画像はシャッタ速度を変え撮影した多重露光画像と呼ばれる画像群を統合することにより生成する（図2）．ここで，従来技術では黒つぶれと白飛び画素を統合から除外するように画像を統合する．近年では，HDR 画像を直接取得できる高ダイナミックレンジイメージセンサを搭載したHDR カメラが産業分野で利用されているが，非常に高価なため一般ユーザへの広範な普及のためには画像統合型を用いる必要がある．しかしながら，既存の画像統合手法には，ノイズによる画像劣化，手持ち撮影や移動物体による位置ずれなど，解決すべき問題が依然として多く残っている．
本稿では，画像統合型のHDR 画像生成手法についてまず説明し，関連するHDR 画像処理の基礎技術を紹介する．さらに，HDR 画像の復元や人工知能に基づく応用研究についても紹介する．
2．多重露光画像統合
これまで，多重露光画像をもとにしたHDR 画像を生成するための多くの手法が提案されてきた．基本的なHDR画像生成手法では，逆カメラレスポンスカーブにより線形化した多重露光画像を，重み付き平均により統合することでHDR 画像を生成することができる．市販のカメラにおいて，イメージセンサで捕捉された照度値は画素値に非線形変換される．この非線形変換をカメラレスポンスカーブと呼び，その逆関数を逆カメラレスポンスカーブと呼ぶ．したがって，同じシーンを撮影した複数枚の多重露光画像から逆カメラレスポンスカーブにより照度を推定し，飽和画素を統合から除外するように設計された重み関数により算出した重みマップをもとにそれらを統合することでHDR 画像を生成する．カラー画像においては，この一連の処理をRGB 各チャネルに対して行えばよい．重み関数として，黒つぶれや白飛び画素値（すなわち，画素値0 や画素値255）では小さい値をとり，中間値で最大となるガウス型の関数がよく用いられる．有名なHDR 画像生成手法を以下にまとめる．
- Mann, S., and Picard, R. W.: On being ʻundigitalʼ with digital cameras: Extending dynamic range by combining differently exposed pictures, Proc. IS&T, pp. 442-448（1995）
- Debevec, P. E. and Malik, J.: Recovering high dynamic range radiance maps from photographs, Proc. 24th Annual Conf. on Computer Graphics and Interactive Techniques（SIGGRAPHʼ97）, pp. 369-378, ACM Press/ Addison-Wesley Publishing Co.（1997）
- Mitsunaga, T. and Nayar, S.: Radiometric self calibration, IEEE Computer Society Conf. on. Computer Vision and Pattern Recognition, pp. 374-380（1999）
3．トーンマッピング
通常，HDR 画像は各色32 bit を超えるダイナミックレンジをもつ．一方，大半の既存の出力デバイスは，各色8bit 程度の狭いダイナミックレンジしか表示することができないため，生成したHDR 画像をそのまま直接ディスプレイ上で確認することは困難である．そこで，ダイナミックレンジの狭い出力デバイスでHDR画像を表示するために，人間の視覚特性に合わせた関数などをもとにHDR 画像の高いダイナミックレンジを圧縮し，詳細を保持した高コントラストな画像を生成しディスプレイ上に出力する方法がいくつか考案されている．その一つとしてトーンマッピング があげられる．有名なトーンマッピング手法を以下にまとめる．
- Reinhard, E., Stark, M., Shirley, P. and Ferwerda, J.: Photographic tone reproduction for digital images, ACM Trans. Graph., Vol. 21, No. 3, pp. 267-276（July 2002）
- Durand, F. and Dorsey, J.: Fast bilateral filtering for the display of high dynamic range images, ACM Trans. Graph., Vol. 21, No. 3, pp. 257-266（July 2002）
- Fattal, R., Lischinski, D. and Werman, M.: Gradient domain high dynamic range compression, ACM Trans. Graph., Vol. 21, No. 3, pp. 249-256（July 2002）
- Mantiuk, R., Myszkowski, K. and Seidel, H. P.: A perceptual framework for contrast processing of high dynamic range images, ACM Trans. Appl. Percept., Vol. 3, No. 3, pp. 286-308（July 2006）
- Akai, Y., Shibata, T., Matsuoka, R. and Okuda, M.: L0 smoothing based on gradient constraints, Proc. IEEE Int. Conf. Image Process.（ICIP）, pp. 3943-3947（2018）
4．HDR 画像圧縮
1 画素当たりの階調数が多いHDR 画像はそのデータサイズが問題になることが多く，圧縮符号化は欠かせない重要な技術である．従来のJPEG2000，JPEG-XR，H.264/AVC などは，1 画素10 bit 以上のビット深度を取り扱うことができるが，ダイナミックレンジを意識した処理は行われていないため，画像のダイナミックレンジが非常に高い場合に，単にHDR 画像を線形スケーリングして対応可能なbit 深度におさめた後に上記の従来の符号化方式で圧縮するのは効率が悪い．これは，視覚特性は高輝度域と低輝度域において感度が鈍る ためである．特に，高輝度域の感度の鈍化を考慮に入れてより効率の良い圧縮を行うことが求められる．HDR 画像を対象とした非可逆圧縮手法は多数提案されており，それらは前処理でレンジを非線形圧縮した後にJPEG やH.264/AVC などで符号化する手法と2 層のダイナミックレンジスケーラビリティをもつ手法（二層符号化 と呼ぶ）に大別できる． それぞれの圧縮手法の関連文献を以下にまとめる．
4･ 1 前処理でレンジ圧縮する手法
- Mantiuk, R., Krawczyk, G., Myszkowski, K. and Seidel, H. P.: Perception-motivated high dynamic range video encoding, ACM Trans. Graph., Vol. 23, No. 3, pp. 733-741（2004）
- Xu, R., Pattanaik, S. N. and Hughes, C. E.: High-dynamic-range still-image encoding in JPEG 2000, IEEE Trans. Comput. Graph. Appl., Vol. 25, No. 6, pp. 57-64（2005）
- Okuda, M. and Adami, N.: Effective color space representation for wavelet based compression of HDR images, Proc. Int. Conf. Image Anal. （ICIAP）, pp. 388-392（2007）
4･ 2 二層符号化
- Okuda, M. and Adami, N.: Two-layer coding algorithm for high dynamic range images based on luminance compensation, J. Vis. Comun. Image Represent., Vol. 18, No. 5, pp. 377-386（2007）
- Ward, G.: A general approach to backwards-compatible delivery of high dynamic range images and video, SIGGRAPHʼ08: ACM SIGGRAPH 2008 classes, pp. 1-7, New York, NY, USA, ACM（2008）
- Boschetti, A., Adami, N., Leonardi, R. and Okuda, M.: Flexible and effective high dynamic range image coding, Proc. IEEE Int. Conf. Image Process., pp. 3145-3148（2010）
5．画 質 評 価
HDR 画像の画質評価は，主観評価および客観評価ともに確立されていない．また，ダイナミックレンジが高いために暗所領域と明所領域における信号強度が大きく異なるため，PSNR やSSIM（Structural similarity） などの既存の画質評価手法をそのまま適用できない．また，シーン照度に対してHDR 画像は線形であるが，人間の視覚特性は非線形であるため，主観とは異なる評価結果となる場合がある．人間の視覚特性を考慮したHDR 画像の画質評価手法をいくつか以下にまとめる．
- Yeganeh, H. and Wang, Z.: Objective assessment of tone mapping algorithms, Proc. IEEE Int. Conf. Image Process., pp. 2477-2480（2010）
- Yeganeh, H. and Wang, Z.: Objective quality assessment of tone-mapped images, IEEE Trans. Image Process., Vol. 22, No. 2, pp. 657-667（2013）
- Aydın, T. O., Smolic, A. and Gross, M.: Automated aesthetic analysis of photographic images, IEEE Trans. Vis. Comput. Graph., Vol. 21, No. 1, pp. 31-42（2015）
- Narwaria, M., Mantiuk, R. K., Da Silva, M. P. and Le Callet, P.: HDR-VDP-2.2: A calibrated method for objective quality prediction of high-dynamic range and standard images, Proc. SPIE, Vol. 24, No. 1, Art. No. 01050, p. 1（Jan. 2015）
- Narwaria, M., Silva, M. P. D. and Callet, P. L.: HDR-VQM: An objective quality measure for high dynamic range video, Signal Processing: Image Communication, Vol. 35, pp. 46-60（2015）
- Zerman, E., Valenzise, G. and Dufaux, F.: An extensive performance evaluation of full-reference hdr image quality metrics, Qual. User Exper., Vol. 2, No. 1, pp. 1-16（2017）
6．ノイズ除去
暗い室内や夜間などの撮影では，手ぶれによるボケを回避するために高感度撮影が必須となる．しかしながら，高感度撮影ではイメージセンサで生じるノイズを強調してしまうため，生成された画像にはザラザラとしたノイズが生じ著しく画質が劣化する．HDR 画像の生成過程でこれらのノイズを同時に除去する手法がいくつか提案されている．
- Buades, T., Lou, Y., Morel, J. M. and Tang, Z.: A note on multi-image denoising, Proc. Local Non-Local Approx. Image Process. Int. Workshop, pp. 1–15（2009）
- Zhang, L., Deshpande, A. and Chen, X.: Denoising vs. deblurring: HDR imaging techniques using moving cameras, Proc. IEEE Conf. Comput. Vis. Pattern Recognit. （CVPR）, pp. 522–529（2010）
- Hasinoff, S. W., Sharlet, D., Geiss, R., Adams, A., Barron, J. T., Kainz, F., Chen, J. and Levoy, M.: Burst photography for high dynamic range and low-light imaging on mobile cameras, ACM Trans. Graph., Vol. 35, No. 6, Art. No. 192（2016）
- Matsuoka, R., Ono, S. and Okuda, M.: Transformed-domain robust multiple-exposure blending with huber loss, IEEE Access, Vol. 7, pp. 162282-162296（2019）
7．ゴーストアーティファクト除去
動きのあるシーンで多重露光画像を統合しHDR 画像を生成する場合，画像間の動きや位置ずれがブレやゴーストなどのアーティファクトとしてHDR 画像に生じるため，これらの動きをあらかじめ補正する必要がある．HDR 画像の生成過程でブレやゴーストを除去する代表的な手法を以下にまとめる．
- Sen, P., Nima, K. K., Yaesoubi, M., Darabi, S., Goldman, D. B. and Shechtman, E.: Robust patch-based HDR reconstruction of dynamic scenes, ACM Trans. Graph., Vol. 31, No. 6, pp. 203:1-203:11（2012）
- Nima, K. K., Shechtman, E., Barnes, C., Darabi, S., Goldman, D. B. and Sen, P.: Patch-based high dynamic range video, ACM Trans. Graph., Vol. 32, No. 6, pp. 202:1-202:8（2013）
- Hu, J., Gallo, O., Pulli, K. and Sun, X.: HDR deghosting: How to deal with saturation?, Proc. IEEE Conf. Comput. Vis. Pattern Recog.（CVPR）, pp. 1163-1170（2013）
- Lee, C. Li, Y. and Monga, V.: Ghost-free high dynamic range imaging via rank minimization, IEEE SPL, Vol. 21, No. 9, pp. 1045-1049（2014）
- Tursun, O., Akyüz, A., Erdem, A. and Erdem, E.: The state of the art in HDR deghosting: A Survey and Evaluation, Comput. Graph. Forum, Vol. 34, No. 2, pp. 683-707（2015）
8．露光合成（Exposure Fusion）
画像統合によるHDR 画像生成では，逆カメラレスポンスカーブの推定，トーンマッピングといった煩雑な処理が必要であり，また，既存の低ダイナミックレンジ画像用の画像符号化や画質評価手法をそのまま適用できない．そこで，これらの問題を回避する方法として，多重露光画像から黒つぶれや白飛びのない低ダイナミックレンジ画像を直接生成する露光合成（Exposure Fusion）と呼ばれる手法が提案されている．露光合成により生成された画像は，HDR 画像をトーンマッピングしたような高コントラストな画像であるが，厳密にはHDR 画像ではないことに注意されたい．代表的な露光合成手法を以下にまとめる．
- Mertens, T., Kautz, J. and Reeth, F. V.: Exposure fusion, Proc. 15th Pacific Conf. Comput. Graph. Appl., pp. 382–390（2007）
- Raman, S. and Chaudhuri, S.: Bilateral filter based compositing for variable exposure photography, Eurographics 2009 – Short Papers, Alliez, P. and Magnor, M., eds., The Eurographics Association（2009）
- Li, S., Kang, X. and Hu, J.: Image fusion with guided filtering, IEEE Trans. Image Process., pp. 2864–2875 （2013）
- Bertalmio, M. and Levine, S.: Variational approach for the fusion of exposure bracketed pairs, IEEE Trans. Image Process., Vol. 22, No. 2, pp. 712–723（2013）
9．人工知能に基づくHDR 画像処理
近年，人工知能に基づくHDR 画像処理技術が盛んに研究されている．特に，畳込みニューラルネットワーク（CNN）技術に基づくHDR 画像生成技術は，従来の非学習型技術では困難な1 枚の低ダイナミックレンジ画像からのHDR 画像生成や動的シーンにおけるゴースト除去などにおいて著しい性能向上を実現している．以下に代表的な手法をまとめている．
- Peng, F., Zhang, M., Lai, S., Tan, H. and Yan, S.: Deep HDR reconstruction of dynamic scenes, Proc. IEEE Int. Conf. Image Vis. Comput.（ICIVC）, pp. 347-351（2018）
- Yan, Q., Gong, D., Shi, Q., Hengel, A., Shen, C., Reid, I. and Zhang, Y.: Attention-guided network for ghostfree high dynamic range imaging, Proc. IEEE Conf. Comput. Vis. Pattern Recog.（CVPR）, pp. 1751-1760 （2019）
- Wu, S., Xu, J., Tai, Y. W. and Tang, C. K.: Deep high dynamic range imaging with large foreground motions, Proc. Europ. Conf. Comput. Vis.（ECCV）, pp. 117-132（2018）
- Lee, S., An, G. H. and Kang, S. J.: Deep recursive HDRI: Inverse tone mapping using generative adversarial networks, Proc. Europ. Conf. Comput. Vis.（ECCV）, pp. 596-611（2018）
- Kalantari, N. K. and Ramamoorthi, R.: Deep HDR video from sequences with alternating exposures, Comput. Graph. Forum, Vol. 38, No. 2, pp. 193-205（2019）
- Eilertsen, G., Mantiuk, R. K. and Unger, J.: Single-frame regularization for temporally stable CNNs, Proc. IEEE Conf. Comput. Vis. Pattern Recog.（CVPR）, pp. 11168-11177（2019）
- Khan, Z., Khanna, M. and Raman, S.: FHDR: HDR image reconstruction from a single LDR image using feedback network, Proc. IEEE Glob. Conf. Signal Info. Process.（GlobalSIP）, pp. 1-5（2019）
10．参考書籍
- Reinhard, E., Ward, G., Pattanaik, S. and Debevec, P.: High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting,（The Morgan Kaufmann Series in Computer Graphics）, Morgan Kaufmann Publishers Inc.（2005）
- 奥田正浩：高ダイナミックレンジ画像処理とMATLAB シミュレーション，トリケップス社，ISBN:978-4- 88657-744-3（2010）
- Banterle, F., Artusi, A., Debattista, K. and Chalmers, A.: Advanced High Dynamic Range Imaging, CRC Press（2017）
11．チュートリアル資料
- EUSIPCO 2016: Tutorial Onhigh Dynamic Range Video
- IEEE CVPR 2020: Vision Models for Emerging Media Technologies
12．学会，雑誌など
HDR 画像処理に関する研究開発を行う上で筆者がチェックしているカンファレンスや雑誌をいくつか紹介する．
12･ 1 国内会議
12･ 2 国際会議
- IEEE Conference on Computer Vision and Pattern Recognition（CVPR）
- IEEE European Conference on Computer Vision（ECCV）
- IEEE International Conference on Computer Vision（ICCV）
- ACM Special Interest Group on Computer Graphics（SIGGRAPH）
- ACM Special Interest Group on Computer Graphics Asia（SIGGRAPH Asia）
- IEEE International Conference on Image Processing（ICIP）
- IEEE International Conference on Acoustics，Speech，and Signal Processing（ICASSP）
- IEEE Asian Conference on Computer Vision（ACCV）
- IEEE International Conference on Pattern Recognition（ICPR）
- Asia-Pacific Signal and Information Processing Association Annual Summit and Conference（APSIPA ASC）
12･ 3 雑誌
- IEEE Transactions on Image Processing
- IEEE Transactions on Computational Imaging
- IEEE Transactions on Circuits and Systems for Video Technology
- ACM Transactions on Graphics（TOG）
- Elsevier Signal Processing：Image Communication
13．ソフトウェア
多重露光画像からHDR画像を生成できるお勧めのソフトウェアを以下にまとめる．ちなみに最近のスマートフォンのカメラアプリには，HDR 機能が搭載されているものもあり，手軽にHDR 画像を撮影できる時代になってきている．
- Photoshop
- Photomatix （フリーでトライアルバージョンがダウンロードできる）
- HDRShop
14．おわりに
本稿では，HDR 画像生成手法と関連する基礎技術の紹介，また，人工知能技術を用いたHDR 画像の応用研究について紹介した．HDR 画像は，市販の低ダイナミックレンジカメラでは捉えることのできない，広いダイナミックレンジの情報を取得することができ，量子化により失われる微細な変化を捉えることができるため，産業・医療のみならずさまざまな分野で必要とされている．しかし，HDR 画像の実応用において，たくさんの未解決問題が残されている．筆者は，人工知能や数理最適化技術を駆使してこれらの問題の解決に取り組んでいる．