[Paper Review] An Efficient Statistical Method for Image Noise Level Estimation
์๋ณธ ๊ฒ์๊ธ: https://velog.io/@euisuk-chung/Paper-Review-An-Efficient-Statistical-Method-for-Image-Noise-Level-Estimation
(์ฐธ๊ณ ) ์ด ๋ ผ๋ฌธ์ 2015๋ ์ ๋ฐํ๋ ๊ฒ์ผ๋ก, ํ์ฌ ๊ธฐ์ค์์๋ ์ต์ ๊ธฐ์ ์ด๋ผ๊ณ ๋ณด๊ธฐ ์ด๋ ต์ต๋๋ค. ๋ณธ๋ฌธ์์ ์ธ๊ธ๋ โ์ต๊ทผโ ๋๋ โ์ต์ โ์ด๋ผ๋ ํํ์ ๋ชจ๋ ๋น์ ๊ธฐ์ค์ด๋ฉฐ, ํ์ฌ์ ๊ธฐ์ ํ๋ฆ๊ณผ๋ ๋ค๋ฅผ ์ ์์ต๋๋ค.
-
์๋ก
์ด ๋ ผ๋ฌธ์ ๋จ์ผ ์์์์ ๊ฐ๋ฒ์ ์ํ๊ท ๊ฐ์ฐ์์ ๋ ธ์ด์ฆ(additive zero-mean Gaussian noise)์ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ถ์ ํ๋ ๋ฌธ์ ๋ฅผ ๋ค๋ฃน๋๋ค. ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์์ ์ก์ ์ ๊ฑฐ(image denoising), ๊ดํ ํ๋ฆ(optical flow), ์์ ๋ถํ (image segmentation), ์ดํด์๋(super resolution) ๋ฑ ๋ค์ํ ์ปดํจํฐ ๋น์ ์๊ณ ๋ฆฌ์ฆ์ ํ์์ ์ธ ํ๋ผ๋ฏธํฐ์ ๋๋ค. ๊ทธ๋ฌ๋ ์ค์ ์ํฉ์์๋ ์์์ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ ์ ์๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ผ๋ฉฐ, ํนํ ํ ์ค์ฒ๊ฐ ํ๋ถํ ์์์ ๊ฒฝ์ฐ ์ ํํ ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ์ ์ฌ์ ํ ์ด๋ ค์ด ๊ณผ์ ๋ก ๋จ์ ์์ต๋๋ค.
๊ธฐ์กด์ ๋ ธ์ด์ฆ ์ถ์ ๋ฐฉ๋ฒ๋ค([2, 17, 13, 20, 24])์ ์ฒ๋ฆฌํ ์์์ ์ถฉ๋ถํ ์์ ํํ ์์ญ(flat areas)์ด ํฌํจ๋์ด ์๋ค๋ ๊ฐ์ ์ ๊ธฐ๋ฐ์ผ๋ก ํฉ๋๋ค. ํ์ง๋ง ์ด๋ ์์ฐ ์์ ์ฒ๋ฆฌ์์๋ ํญ์ ์ ์ฉ๋๋ ๊ฐ์ ์ด ์๋๋๋ค. ์ต๊ทผ ์ ์๋ ์ต์ ์๊ณ ๋ฆฌ์ฆ๋ค([19, 23])์ ์ด๋ฌํ ๊ฐ์ ์ด ํ์ ์๋ค๊ณ ์ฃผ์ฅํ์ง๋ง, ๋ค์๊ณผ ๊ฐ์ ๋ ๊ฐ์ง ์ฝ์ ์ ๊ฐ์ง๊ณ ์์ต๋๋ค.
- ์ฒซ์งธ, [19]์์ ์ธ๊ธํ๋ฏ์ด, ์ ๋ญํฌ(low-rank) ํจ์น ์ ํ์ ์๋ ด์ฑ ๋ฐ ์ฑ๋ฅ์ด ์ด๋ก ์ ์ผ๋ก ๋ณด์ฅ๋์ง ์์ผ๋ฉฐ ๊ฒฝํ์ ์ผ๋ก๋ ๋์ ์ ํ๋๋ฅผ ๋ณด์ด์ง ์์ต๋๋ค.
- ๋์งธ, ๋ณธ ๋ ผ๋ฌธ์ 2.2์ ์์ ์ด๋ก ์ ์ผ๋ก ์ค๋ช ํ๋ฏ์ด, ์ด๋ค ๋ฐฉ๋ฒ์ ์ ํ๋ ์ ๋ญํฌ ํจ์น์ ๊ณต๋ถ์ฐ ํ๋ ฌ์ ๊ฐ์ฅ ์์ ๊ณ ์ ๊ฐ(eigenvalue)์ ๋ ธ์ด์ฆ ์ถ์ ๊ฒฐ๊ณผ๋ก ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์ ์ฒ๋ฆฌ๋ ์์์ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ๊ณผ์ํ๊ฐ(underestimate)ํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค.
์ด๋ฌํ ๋ฌธ์ ๋ค์ ํด๊ฒฐํ๊ธฐ ์ํด, ๋ณธ ๋ ผ๋ฌธ์ ์๋ก์ด ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ํฉ๋๋ค. ์ด ์ฐ๊ตฌ๋ ๋ ธ์ด์ฆ๊ฐ ์๋ ์์์์ ์ถ์ถ๋ ํจ์น๋ค์ด ์ฃผ๋ณ ๊ณต๊ฐ(ambient space)์ ๊ท ์ผํ๊ฒ ๋ถํฌํ๊ธฐ๋ณด๋ค ์ข ์ข ์ ์ฐจ์ ๋ถ๋ถ๊ณต๊ฐ(low-dimensional subspace)์ ์กด์ฌํ๋ค๋ ๊ด์ฐฐ์ ๊ธฐ๋ฐํฉ๋๋ค.
์ด๋ฌํ ํน์ฑ์ ๋ถ๋ถ๊ณต๊ฐ ํด๋ฌ์คํฐ๋ง(subspace clustering) ๋ฐฉ๋ฒ([8, 29])์์ ๋๋ฆฌ ํ์ฉ๋์์ต๋๋ค. ์ด ์ ์ฐจ์ ๋ถ๋ถ๊ณต๊ฐ์ ์ฃผ์ฑ๋ถ ๋ถ์(Principal Component Analysis, PCA)์ ํตํด ํ์ต๋ ์ ์์ต๋๋ค. ๋ณธ ๋ ผ๋ฌธ์ 2.1์ ์์ ๋ถ์ํ๋ฏ์ด, ๋ ธ์ด์ฆ ๋ถ์ฐ(noise variance)์ ์์ฌ ์ฐจ์(redundant dimensions)์ ๊ณ ์ ๊ฐ์ผ๋ก๋ถํฐ ์ถ์ ๋ ์ ์์ต๋๋ค. ์ด๋ฌํ ๋ฐฉ์์ผ๋ก, ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ๋ฌธ์ ๋ PCA๋ฅผ ์ํ ์์ฌ ์ฐจ์์ ์ ํํ๋ ๋ฌธ์ ๋ก ์ฌ๊ตฌ์ฑ๋ฉ๋๋ค.
(์ฐธ๊ณ ) ์์ฌ ์ฐจ์์ ์๋ฏธ: ๋ ผ๋ฌธ์์๋ ๊นจ๋ํ ์ด๋ฏธ์ง ํจ์น๋ค์ด ์ฌ์ค์ โ์ ์ฐจ์ ๋ถ๋ถ ๊ณต๊ฐ(low-dimensional subspace)โ์ ๋์ฌ ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. ์ด๋ ์ด๋ฏธ์ง ํจ์น์ ํฌํจ๋ ์ค์ ์ ๋ณด(์: ์ด๋ฏธ์ง์ ๊ตฌ์กฐ, ํ ์ค์ฒ ๋ฑ)๋ ์ ์ฒด ํจ์น์ ํฝ์ ์(๊ณ ์ฐจ์)๋ณด๋ค ํจ์ฌ ์ ์ ์์ ์ฐจ์์ผ๋ก๋ ์ถฉ๋ถํ ์ค๋ช ๋ ์ ์๋ค๋ ๋ป์ ๋๋ค.
์ด ๋ฌธ์ ๋ ํต๊ณํ ๋ฐ ์ ํธ ์ฒ๋ฆฌ ๋ถ์ผ์์ ๋ชจ๋ธ ์ ํ(model selection) ๋ฌธ์ ๋ก ์ฐ๊ตฌ๋์ด ์์ต๋๋ค([10, 15, 21, 28]). ๊ทธ๋ฌ๋ ์ด๋ค ๋ฐฉ๋ฒ์ ๊ด์ธก๋ ์ ํธ๋ฅผ ํํํ๊ธฐ ์ํด ๋ ์ ์ ์ ์ฌ ๊ตฌ์ฑ์์(latent components)๋ฅผ ์ฌ์ฉํ๋ ๋ฐ ์ค์ ์ ๋๊ธฐ ๋๋ฌธ์, ์ ํธ ๊ตฌ์ฑ์์๋ฅผ ๋ ธ์ด์ฆ๋ก ๊ฐ์ฃผํ์ฌ ์์ ๋ ธ์ด์ฆ๋ฅผ ๊ณผ๋ํ๊ฐ(overestimate)ํ๋ ๊ฒฐ๊ณผ๋ฅผ ์ด๋ํฉ๋๋ค.
๋ณธ ๋ ผ๋ฌธ์์๋ ์์ฌ ์ฐจ์์ ๊ณ ์ ๊ฐ์ด ๋์ผํ ๋ถํฌ๋ฅผ ๋ฐ๋ฅด๋ ํ๋ฅ ๋ณ์๋ผ๋ ํต๊ณ์ ์์ฑ์ ํ์ฉํ์ฌ ์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๋ ํจ๊ณผ์ ์ธ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค. ์ด๋ 2.2์ ์์ ์ ์ฆ๋์์ผ๋ฉฐ, ์ ์๋ ๋ฐฉ๋ฒ์ ์ฃผ์ฑ๋ถ(principal dimensions)์ ์๊ฐ ํน์ ์๊ณ๊ฐ๋ณด๋ค ์์ ๋ ์ ํํ ๋ ธ์ด์ฆ ์ถ์ ์ ๋ฌ์ฑํ ๊ฒ์ผ๋ก 2.3์ ์์ ์ ์ฆ๋ฉ๋๋ค.
๋ณธ ๋ ผ๋ฌธ์ ์ฃผ์ ๊ธฐ์ฌ๋ ๋ค์๊ณผ ๊ฐ์ด ์์ฝํ ์ ์์ต๋๋ค:
- ๋ ธ์ด์ฆ ๋ ๋ฒจ ฯ2\sigma^2ฯ2์ ํจ์น์ ๊ณต๋ถ์ฐ ํ๋ ฌ ๊ณ ์ ๊ฐ ์ฌ์ด์ ํต๊ณ์ ๊ด๊ณ๋ฅผ ์ต์ด๋ก ์ถ์ ํฉ๋๋ค.
- ๊ณ ์ ๊ฐ์ผ๋ก๋ถํฐ ๋ ธ์ด์ฆ ๋ ๋ฒจ ฯ2\sigma^2ฯ2์ ์ถ์ ํ๋ ๋น๋ชจ์(nonparametric) ์๊ณ ๋ฆฌ์ฆ์ ์ ์ํ๋ฉฐ, ์ด ์๊ณ ๋ฆฌ์ฆ์ ์ฑ๋ฅ์ ์ด๋ก ์ ์ผ๋ก ๋ณด์ฅ๋ฉ๋๋ค. ๊ฒฝํ์ ์ผ๋ก ๋ณธ ๋ฐฉ๋ฒ์ ๊ฐ์ฅ ๊ฒฌ๊ณ ํ๋ฉฐ ๋๋ถ๋ถ์ ๊ฒฝ์ฐ ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ์์ ์ต๊ณ ์ ์ฑ๋ฅ์ ๋ฌ์ฑํฉ๋๋ค. ๋ํ, ๋ณธ ๋ฐฉ๋ฒ์ ๊ฐ์ฅ ์ ์ ์คํ ์๊ฐ์ ์๋ชจํ๋ฉฐ [19, 23]๋ณด๋ค ๊ฑฐ์ 8๋ฐฐ ๋น ๋ฆ ๋๋ค.
- ๋๋ ธ์ด์ง ์๊ณ ๋ฆฌ์ฆ BM3D๊ฐ ๋ณธ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ์ถ์ ๋ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ฌ์ฉํ ๋ ์ต์ ์ ์ฑ๋ฅ์ ๋ฌ์ฑํจ์ ์ถ๊ฐ๋ก ์ ์ฆํฉ๋๋ค.
-
๊ด๋ จ ์ฐ๊ตฌ
๊ธฐ์กด์ ๋ง์ ๋ ธ์ด์ฆ ์ถ์ ๋ฐฉ๋ฒ๋ค([2, 17, 13, 20, 24])์ ์์ ๋ด์ ์ถฉ๋ถํ ํํ ์์ญ์ด ์กด์ฌํ๋ค๋ ๊ฐ์ ์ ์์กดํฉ๋๋ค. ์ด ๊ฐ์ ์ ์์ฐ ์์์์ ํญ์ ์ ํจํ์ง ์์ ํ ์ค์ฒ๊ฐ ํ๋ถํ ์์์์ ์ ํํ ์ถ์ ์ ์ด๋ ต๊ฒ ํฉ๋๋ค.
(๊ด๋ จ์ฐ๊ตฌ) ๋ ธ์ด์ฆ ์ถ์ ๋ฐฉ๋ฒ๋ค
-
[2]: Segmentation of images based on intensity gradient information
- ์ ์: R. Bracho, A. C. Sanderson
- ์ค๋ช : 1985๋ ์ ๋ฐํ๋ ์ด ๋ ผ๋ฌธ์ ์ด๋ฏธ์ง์ ๊ฐ๋ ๊ธฐ์ธ๊ธฐ ์ ๋ณด(intensity gradient information)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ์ด๋ฏธ์ง ๋ถํ (Segmentation)์ ๋ํด ๋ค๋ฃน๋๋ค.
-
[17]: Refined filtering of image noise using local statistics
- ์ ์: Jong-Sen Lee
- ์ค๋ช : 1981๋ ๋ ผ๋ฌธ์ผ๋ก, ์ง์ญ ํต๊ณ๊ฐ(local statistics)๋ฅผ ์ฌ์ฉํ์ฌ ์ด๋ฏธ์ง ๋ ธ์ด์ฆ๋ฅผ ์ ์ ํ๋ ํํฐ๋ง ๋ฐฉ๋ฒ์ ์ด์ ์ ๋ง์ถฅ๋๋ค.
-
[13]: Fast Noise Variance Estimation
- ์ ์: John Immerkรฆr
- ์ค๋ช : 1996๋ ๋ ผ๋ฌธ์ผ๋ก, ๋น ๋ฅด๊ณ ํจ์จ์ ์ธ ๋ ธ์ด์ฆ ๋ถ์ฐ ์ถ์ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค.
-
[20]: A fast parallel algorithm for blind estimation of noise variance
- ์ ์: P. Meer, J. Jolion, A. Rosenfeld
- ์ค๋ช : 1990๋ ๋ ผ๋ฌธ์ผ๋ก, โ๋ธ๋ผ์ธ๋โ ๋ ธ์ด์ฆ ๋ถ์ฐ ์ถ์ ์ ์ํ ๋น ๋ฅด๊ณ ๋ณ๋ ฌ์ ์ธ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ํฉ๋๋ค.
-
[24]: Estimation of image noise variance
- ์ ์: K. Rank, M. Lendl, R. Unbehauen
- ์ค๋ช : 1999๋ ๋ ผ๋ฌธ์ผ๋ก, ์ด๋ฏธ์ง ๋ ธ์ด์ฆ ๋ถ์ฐ ์ถ์ ์ ๋ํ ์ฐ๊ตฌ์ ๋๋ค.
์ต๊ทผ์ ์ต์ฒจ๋จ ๋ฐฉ๋ฒ์ธ [19]์ [23]์ ํํ ์์ญ์ด ์๋ ์์์์๋ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ ํํ๊ฒ ์ถ์ ํ ์ ์๋ค๊ณ ์ฃผ์ฅํฉ๋๋ค. ๊ทธ๋ฌ๋ ์ด๋ค์ ์ ๋ญํฌ ํจ์น์ ๊ณต๋ถ์ฐ ํ๋ ฌ์์ ๊ฐ์ฅ ์์ ๊ณ ์ ๊ฐ ฮปr\lambda_rฮปrโ์ ๋ ธ์ด์ฆ ์ถ์ ๊ฒฐ๊ณผ๋ก ์ฌ์ฉํฉ๋๋ค.
๋ณธ ๋ ผ๋ฌธ์ 2.2์ ์์ ์ด๋ก ์ ์ผ๋ก ๋ถ์ํ๋ฏ์ด, ์ด ์ ๊ทผ ๋ฐฉ์์ ์ฒ๋ฆฌ๋ ์์์ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ผ๊ด๋๊ฒ ๊ณผ์ํ๊ฐํ๋ ๋ฌธ์ ๋ฅผ ์ผ๊ธฐํฉ๋๋ค. ์ด๋ ์์ฌ ์ฐจ์(redundant space)์ ๊ณ ์ ๊ฐ์ด ๊ฐ์ฐ์์ ๋ถํฌ๋ฅผ ๋ฐ๋ฅธ๋ค๋ ์ ๊ณผ, ์ ๋ ฌ๋ ๊ณ ์ ๊ฐ์ ๊ธฐ๋๊ฐ์ด ํน์ ๋ถํฌ๋ฅผ ๋ฐ๋ฅธ๋ค๋ ์ (Theorem 1, Blom์ ์ ๋ฆฌ)์ ํตํด ์ค๋ช ๋ฉ๋๋ค. ํนํ, ์์ฌ ์ฐจ์(redundant space)์ ์๊ฐ 1๋ณด๋ค ํด ๋ ๊ฐ์ฅ ์์ ๊ณ ์ ๊ฐ์ ๊ธฐ๋๊ฐ์ ์ค์ ๋ ธ์ด์ฆ ๋ ๋ฒจ๋ณด๋ค ์์์ง๋๋ค.
(๊ด๋ จ์ฐ๊ตฌ) ๋ ธ์ด์ฆ ์ถ์ ์ต์ ๋ฐฉ๋ฒ๋ค
-
[19]: Single-Image Noise Level Estimation for Blind Denoising
- ์ ์: Xinhao Liu, Masayuki Tanaka, M. Okutomi
- ์ค๋ช : 2013๋ ๋ฐํ๋ ์ด ๋ ผ๋ฌธ์ ๋จ์ผ ์ด๋ฏธ์ง๋ก๋ถํฐ โ๋ธ๋ผ์ธ๋โ ๋๋ ธ์ด์ง์ ์ํ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ถ์ ํ๋ ๋ฐฉ๋ฒ์ ๋ค๋ฃน๋๋ค.
-
[23]: Image Noise Level Estimation by Principal Component Analysis
- ์ ์: Stanislav Pyatykh, J. Hesser, Lei Zheng
- ์ค๋ช : ์ญ์ 2013๋ ์ ๋ฐํ๋ ์ด ๋ ผ๋ฌธ์ ์ฃผ์ฑ๋ถ ๋ถ์(PCA)์ ํ์ฉํ์ฌ ์ด๋ฏธ์ง ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ถ์ ํ๋ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค.
๋ํ, ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ์ ์ฐจ์ ์ ํ ๋ฌธ์ ๋ก ์ฌํด์ํ์ฌ PCA์ ์์ฌ ์ฐจ์(redundant space)์ ์ ํํ๋ ์ ๊ทผ ๋ฐฉ์์ ํต๊ณ ๋ฐ ์ ํธ ์ฒ๋ฆฌ ๋ถ์ผ์ ๋ชจ๋ธ ์ ํ ๋ฌธ์ ([10, 15, 21, 28])์ ์ ์ฌํฉ๋๋ค. ๊ทธ๋ฌ๋ ์ด๋ฌํ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ค์ ๊ด์ธก๋ ์ ํธ๋ฅผ ํํํ๊ธฐ ์ํด ๋ ์ ์ ์ ์ฌ ๊ตฌ์ฑ์์๋ฅผ ์ฌ์ฉํ๋ ๋ฐ ์ด์ ์ ๋ง์ถ๊ธฐ ๋๋ฌธ์, ์ ํธ ๊ตฌ์ฑ์์(signal components)๋ฅผ ๋ ธ์ด์ฆ๋ก ๊ฐ์ฃผํ์ฌ ์์ ๋ ธ์ด์ฆ๋ฅผ ๊ณผ๋ํ๊ฐํ๋ ๊ฒฝํฅ์ด ์์ต๋๋ค.
(๊ด๋ จ์ฐ๊ตฌ) ํต๊ณ ๋ฐ ์ ํธ ์ฒ๋ฆฌ ๋ถ์ผ์ ๋ชจ๋ธ ์ ํ ๋ฌธ์
-
[10]: The Optimal Hard Threshold for Singular Values is 4/34/\sqrt {3}4/3โ
- ์ ์: M. Gavish, D. L. Donoho
- ์ค๋ช : 2014๋ ๋ฐํ๋ ์ด ๋ ผ๋ฌธ์ ํน์ด๊ฐ(singular values)์ ๋ํ ์ต์ ์ ํ๋ ์๊ณ๊ฐ(hard threshold)์ ๋ค๋ฃน๋๋ค.
-
[15]: Non-Parametric Detection of the Number of Signals: Hypothesis Testing and Random Matrix Theory
- ์ ์: S. Kritchman, B. Nadler
- ์ค๋ช : 2009๋ ๋ ผ๋ฌธ์ผ๋ก, ๊ฐ์ค ๊ฒ์ (Hypothesis Testing)๊ณผ ๋ฌด์์ ํ๋ ฌ ์ด๋ก (Random Matrix Theory)์ ์ฌ์ฉํ์ฌ ์ ํธ์ ๊ฐ์๋ฅผ ๋น๋ชจ์์ ์ผ๋ก ํ์งํ๋ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค.
-
[21]: Perfect Dimensionality Recovery by Variational Bayesian PCA
- ์ ์: S. Nakajima, R. Tomioka, M. Sugiyama, S. D. Babacan
- ์ค๋ช : 2012๋ ๋ ผ๋ฌธ์ผ๋ก, Variational Bayesian PCA๋ฅผ ํตํด ์ฐจ์(dimensionality)์ ์๋ฒฝํ๊ฒ ๋ณต๊ตฌํ๋ ๋ฐฉ๋ฒ์ ์ ์ํฉ๋๋ค.
-
[28]: Dimension Estimation in Noisy PCA with SURE and Random Matrix Theory
- ์ ์: M. O. Ulfarsson, V. Solo
- ์ค๋ช : 2008๋ ๋ ผ๋ฌธ์ผ๋ก, ๋ ธ์ด์ฆ๊ฐ ์๋ PCA์์ SURE(Steinโs Unbiased Risk Estimator)์ ๋ฌด์์ ํ๋ ฌ ์ด๋ก ์ ์ฌ์ฉํ์ฌ ์ฐจ์ ์ถ์ ์ ๋ค๋ฃน๋๋ค.
๋ณธ ๋ ผ๋ฌธ์ ์ด๋ฌํ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ค์ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ธฐ ์ํด, ์์ฌ ์ฐจ์(redundant space)์ ๊ณ ์ ๊ฐ์ด ํน์ ํต๊ณ์ ๋ถํฌ(๊ฐ์ฐ์์ ๋ถํฌ)๋ฅผ ๋ฐ๋ฅธ๋ค๋ ์ ์ ํ์ฉํ์ฌ ๋ ธ์ด์ฆ๋ฅผ ๋ณด๋ค ์ ํํ๊ฒ ์ถ์ ํ๊ณ , ๊ฐ์ฅ ์์ ๊ณ ์ ๊ฐ ๋์ ์์ฌ ์ฐจ์ ์ ์ฒด์ ํต๊ณ์ ํน์ฑ์ ์ฌ์ฉํ์ฌ ๊ณผ์ํ๊ฐ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
-
๋ฐฉ๋ฒ๋ก
๋ณธ ๋ ผ๋ฌธ์ ๋ฐฉ๋ฒ๋ก ์ ์์ ํจ์น(patch)๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ๋ฉฐ, ํจ์น์ ๊ณต๋ถ์ฐ ํ๋ ฌ์ ๊ณ ์ ๊ฐ ๋ถ์์ ํตํด ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ถ์ ํฉ๋๋ค.
3.1. ํจ์น ๋ถํด ๋ฐ ๋ ธ์ด์ฆ ๋ชจ๋ธ๋ง
๊ด์ธก๋ ์์ III๋ sss๊ฐ์ ํจ์น ์งํฉ Xs={xt}t=1sโRrรs\mathbf{X}_s = {\mathbf{x}_t}_{t=1}^s \in \mathbb{R}^{r \times s}Xsโ={xtโ}t=1sโโRrรs๋ก ๋ถํด๋ ์ ์์ต๋๋ค.
๊ด์ธก๋ ์์ III๋ sss๊ฐ์ ํจ์น ์งํฉ Xs={xt}t=1s\mathbf{X}_s = {\mathbf{x}_t}_{t=1}^sXsโ={xtโ}t=1sโ๋ก ๋๋ ์ ์๋ค.
- ์ด๋ฏธ์ง๋ฅผ ์์ ์กฐ๊ฐ๋ค(ํจ์น) ๋ก ๋๋๋๋ค.
- ๊ฐ ํจ์น๋ dรdรcd \times d \times cdรdรc ํฌ๊ธฐ (์: 8ร8ร3)์ด๊ณ , ์ด๋ฅผ ๋ฒกํฐ xtโRrร1\mathbf{x}_t \in \mathbb{R}^{r \times 1}xtโโRrร1๋ก ํด์ ์ฌ์ฉํฉ๋๋ค.
- ์ ์ฒด ์ด๋ฏธ์ง๋ ์ด๋ ๊ฒ ๋ฒกํฐํ๋ ํจ์น๋ค์ ์งํฉ XsโRrรs\mathbf{X}_s \in \mathbb{R}^{r \times s}XsโโRrรs๋ก ํํ๋ฉ๋๋ค.
์์์ ๊ด์ธก ํจ์นxt\mathbf{x}_txtโ๋ ๋ค์๊ณผ ๊ฐ์ด ๋ถํด๋ฉ๋๋ค:
xt=x^t+et(1)\mathbf{x}_t = \hat{\mathbf{x}}_t + \mathbf{e}_t \quad (1)xtโ=x^tโ+etโ(1)
- xt\mathbf{x}_txtโ: ์ค์ ๊ด์ธก๋ ํจ์น (๋ ธ์ด์ฆ ํฌํจ)
- x^t\hat{\mathbf{x}}_tx^tโ: ๋ ธ์ด์ฆ๊ฐ ์๋ ์ง์ง ํจ์น
- et\mathbf{e}_tetโ: ๋ ธ์ด์ฆ๋ง ๋ฐ๋ก ๋ถ๋ฆฌํ ์ฑ๋ถ
๊ฐ์
- ๋ ธ์ด์ฆ et\mathbf{e}_tetโ๋ ํ๊ท ์ด 0์ด๊ณ , ๋ถ์ฐ์ด ฯ2\sigma^2ฯ2์ธ ๊ฐ์ฐ์์ ๋ ธ์ด์ฆ์ ๋๋ค.
-
์ํ์ ์ผ๋ก๋ ๋ค์๊ณผ ๊ฐ์ด ํํ๋ฉ๋๋ค:
etโผNr(0,ฯ2I)\mathbf{e}_t \sim \mathcal{N}_r(0, \sigma^2 \mathbf{I})etโโผNrโ(0,ฯ2I)
- ๋ ธ์ด์ฆ๋ ๋๋คํ์ง๋ง, ์ ์ฒด์ ์ผ๋ก ๋ณด๋ฉด ์ ๊ท๋ถํฌ๋ฅผ ๋ฐ๋ฅด๋ ๋ฌด์์ ์ก์์ ๋๋ค.
- ๊ฐ ํฝ์ ์ ๋ ๋ฆฝ์ ์ผ๋ก ๋ ธ์ด์ฆ๊ฐ ์์ฌ ์๊ณ , ๊ทธ ์ธ๊ธฐ๋ ฯ2\sigma^2ฯ2๋ก ํํ๋ฉ๋๋ค.
๊ฒฐ๊ตญ, ์์์ ๋ ธ์ด์ฆ ์์ค์ ์ถ์ ํ๋ค๋ ๊ฒ์
ํจ์น ์งํฉ Xs\mathbf{X}_sXsโ ์์ ๋ ธ์ด์ฆ ๋ถ์ฐ ฯ2\sigma^2ฯ2 ๋ฅผ ์ถ์ ํ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค.
์ฆ, ๋ง์ ํจ์น๋ค์ ๋ถ์ํด์ ๊ทธ ์์ ์์ฌ ์๋ ๋ ธ์ด์ฆ์ ํ๊ท ์ ์ธ ์ธ๊ธฐ(๋ถ์ฐ) ๋ฅผ ๊ณ์ฐํ๋ ๊ฒ์ด ์ด ๋ ผ๋ฌธ์ ํต์ฌ์ ๋๋ค.
3.2. ๊ณ ์ ๊ฐ๊ณผ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ๊ด๊ณ
์ด๋ฏธ์ง์ ํจ์น๋ค์ด ์ ์ฐจ์ ์ ํ ๋ถ๋ถ๊ณต๊ฐ์ ๋์ฌ ์๋ค๊ณ ๊ฐ์ ํ๋ฉด, ๊ฐ ๊ด์ธก ํจ์น xt\mathbf{x}_txtโ๋ ๋ค์๊ณผ ๊ฐ์ด ํํ๋ฉ๋๋ค:
xt=Ayt+et\mathbf{x}_t = \mathbf{A}\mathbf{y}_t + \mathbf{e}_txtโ=Aytโ+etโ
- AโRrรm\mathbf{A} \in \mathbb{R}^{r \times m}AโRrรm: ๋ถ๋ถ๊ณต๊ฐ์ ์ ์ํ๋ ์ง๊ต ๊ธฐ์ ํ๋ ฌ
- yt\mathbf{y}_tytโ: ๋ถ๋ถ๊ณต๊ฐ ์์ ์ขํ
- et\mathbf{e}_tetโ: ํ๊ท 0, ๋ถ์ฐ ฯ2\sigma^2ฯ2์ ๊ฐ์ฐ์์ ๋ ธ์ด์ฆ
์ด ๋ชจ๋ธ์ ๊ด์ธก๋ ํจ์น๊ฐ ์ ํธ ์ฑ๋ถ๊ณผ ๋ ธ์ด์ฆ ์ฑ๋ถ์ ํฉ์ผ๋ก ๊ตฌ์ฑ๋๋ค๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค.
๐ ํ์ ํ๋ ฌ์ ํตํ ์ฑ๋ถ ๋ถ๋ฆฌ
๊ณต๋ถ์ฐ ํ๋ ฌ ฮฃx\Sigma_{\mathbf{x}}ฮฃxโ์ ๊ณ ์ ๊ฐ ๋ถํด๋ฅผ ํตํด ์ป์ ํ์ ํ๋ ฌ R=[A,U]\mathbf{R} = [\mathbf{A}, \mathbf{U}]R=[A,U]๋ฅผ ์ฌ์ฉํ๋ฉด, ํจ์น xt\mathbf{x}_txtโ๋ฅผ ๋ค์๊ณผ ๊ฐ์ด ๋ถ๋ฆฌํ ์ ์์ต๋๋ค:
RTxt=[yt+ATetUTet]\mathbf{R}^\mathsf{T} \mathbf{x}_t = \begin{bmatrix} \mathbf{y}_t + \mathbf{A}^\mathsf{T} \mathbf{e}_t \ \mathbf{U}^\mathsf{T} \mathbf{e}_t \end{bmatrix}RTxtโ=[ytโ+ATetโUTetโโ]
- ์๋จ: ์ ํธ ์ฑ๋ถ + ์ผ๋ถ ๋ ธ์ด์ฆ
- ํ๋จ: ๋ ธ์ด์ฆ๋ง ํฌํจ๋ ์ฑ๋ถ โ ์์ฌ ์ฐจ์
๐ ๊ณ ์ ๊ฐ๊ณผ ๋ ธ์ด์ฆ ๋ถ์ฐ
์ด๋ฏธ์ง ํจ์น๋ค์ ๊ณต๋ถ์ฐ ํ๋ ฌ ฮฃx\Sigma_{\mathbf{x}}ฮฃxโ๋ฅผ ๊ณ ์ ๊ฐ ๋ถํดํ๋ฉด, ํ์ ํ๋ ฌ R\mathbf{R}R์ ํตํด ๋ค์๊ณผ ๊ฐ์ด ๋๊ฐํ๋ฉ๋๋ค:
RTฮฃxR=diag(ฮป1,ฮป2,โฆ,ฮปr)\mathbf{R}^\mathsf{T} \Sigma_{\mathbf{x}} \mathbf{R} = \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_r)RTฮฃxโR=diag(ฮป1โ,ฮป2โ,โฆ,ฮปrโ)
์ฌ๊ธฐ์ ๊ฐ ๊ณ ์ ๊ฐ ฮปi\lambda_iฮปiโ๋ ํด๋น ์ฐจ์์ ๋ฐ์ดํฐ ๋ถ์ฐ์ ๋ํ๋ ๋๋ค.
- ์ ํธ์ ๋
ธ์ด์ฆ ์ฐจ์์ ๊ตฌ๋ถ
- ์ด๋ฏธ์ง ํจ์น๋ค์ ์ค์ ๋ก๋ ์ ์ฐจ์ ์ ํ ๋ถ๋ถ๊ณต๊ฐ์ ์ง์ค๋์ด ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค.
- ์ด๋:
- ์ ํธ๊ฐ ํฌํจ๋ ์ฐจ์์์๋ ฮปi>ฯ2\lambda_i > \sigma^2ฮปiโ>ฯ2
โ ๊ตฌ์กฐ์ ์ ๋ณด๊ฐ ์กด์ฌํ๋ฏ๋ก ๋ถ์ฐ์ด ํผ - ๋
ธ์ด์ฆ๋ง ํฌํจ๋ ์์ฌ ์ฐจ์์์๋ ฮปiโฯ2\lambda_i \approx \sigma^2ฮปiโโฯ2
โ ๊ตฌ์กฐ๊ฐ ์๊ณ , ์ค์ง ๋ ธ์ด์ฆ๋ง ์กด์ฌํ๋ฏ๋ก ๋ถ์ฐ์ด ์๊ณ ์ผ์ ํจ
- ์ ํธ๊ฐ ํฌํจ๋ ์ฐจ์์์๋ ฮปi>ฯ2\lambda_i > \sigma^2ฮปiโ>ฯ2
์ด๋ฌํ ํน์ฑ์ ํ์ ํ๋ ฌ R\mathbf{R}R์ ํตํด ์ ํธ์ ๋ ธ์ด์ฆ ์ฑ๋ถ์ด ๋ถ๋ฆฌ๋์๊ธฐ ๋๋ฌธ์ ๊ฐ๋ฅํด์ง๋๋ค.
-
๋ ธ์ด์ฆ ๋ถ์ฐ ์ถ์ ๋ฐฉ๋ฒ
- ๋ ธ์ด์ฆ๋ง ํฌํจ๋ ์ฐจ์๋ค์ ๊ณ ์ ๊ฐ์ ํต๊ณ์ ์ผ๋ก ๋ ธ์ด์ฆ ๋ถ์ฐ ฯ2\sigma^2ฯ2 ๋ฅผ ์ค์ฌ์ผ๋ก ํ ์ ๊ท๋ถํฌ๋ฅผ ๋ฐ๋ฆ ๋๋ค.
- ๋ฐ๋ผ์, ์ด๋ค ๊ณ ์ ๊ฐ์ ํ๊ท ์ ์ทจํ๋ฉด ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ถ์ ํ ์ ์์ต๋๋ค:
ฯ2โ1rโmโi=m+1rฮปi\sigma^2 \approx \frac{1}{r - m} \sum_{i=m+1}^{r} \lambda_iฯ2โrโm1โi=m+1โrโฮปiโ
- rrr: ์ ์ฒด ์ฐจ์ ์ (ํจ์น ๋ฒกํฐ์ ๊ธธ์ด)
- mmm: ์ ํธ๊ฐ ํฌํจ๋ ์ฐจ์ ์
- rโmr - mrโm: ๋ ธ์ด์ฆ๋ง ํฌํจ๋ ์์ฌ ์ฐจ์ ์
์ด ์์ ์์ ๊ณ ์ ๊ฐ๋ค(๋ ธ์ด์ฆ ์ฐจ์) ์ ํ๊ท ์ด ๋ ธ์ด์ฆ ๋ถ์ฐ์ ํต๊ณ์ ์ถ์ ์น๊ฐ ๋๋ค๋ ์๋ฆฌ์ ๊ธฐ๋ฐํฉ๋๋ค.
3.3. ์ ํ ๊ฐ์ฐ์์ ๋ณ์์ ๋ถ์ฐ ๋ฐ ๊ณผ์ํ๊ฐ ๋ฌธ์ ๋ถ์
๊ธฐ์กด ์ฐ๊ตฌ [19], [23]์์๋ ์ต์ ๊ณ ์ ๊ฐ์ ์ด๋ฏธ์ง ๋ ธ์ด์ฆ ๋ถ์ฐ ฯ2\sigma^2ฯ2์ ์ถ์ ์น๋ก ์ฌ์ฉํ์ต๋๋ค. ํ์ง๋ง ์คํ ๊ฒฐ๊ณผ, ์ด ๋ฐฉ์์ ๋ ธ์ด์ฆ ์์ค์ ์ง์์ ์ผ๋ก ๊ณผ์ํ๊ฐํ๋ ๊ฒฝํฅ์ด ์์์ ๋ณด์ฌ์ค๋๋ค.
์ด๋ฅผ ์ค๋ช ํ๊ธฐ ์ํด ๋ ผ๋ฌธ์์๋ Lemma 1๊ณผ Theorem 1์ ์ ์ํฉ๋๋ค.
Lemma 1: ๊ณ ์ ๊ฐ์ ํต๊ณ์ ๋ถํฌ
- ๊ฐ ์์ฌ ์ฐจ์์ ๊ณ ์ ๊ฐ ฮปi\lambda_iฮปiโ๋ ๊ฐ์ฐ์์ ๋ ธ์ด์ฆ N(0,ฯ2)\mathcal{N}(0, \sigma^2)N(0,ฯ2)์์ ์ ๋๋ ํ๋ฅ ๋ณ์๋ค์ ์ ๊ณฑ ํ๊ท ์ผ๋ก ๊ณ์ฐ๋ฉ๋๋ค.
- ์ด ๊ฐ์ sss๊ฐ์ ์ํ์ ๊ธฐ๋ฐ์ผ๋ก ํ๋ฉฐ, sโโs \to \inftysโโ์ผ ๋ ๋ค์ ๋ถํฌ๋ก ์๋ ดํฉ๋๋ค:
ฯ^i2โผN(ฯ2,2ฯ4s)\hat{\sigma}^2_i \sim \mathcal{N}(\sigma^2, \frac{2\sigma^4}{s})ฯ^i2โโผN(ฯ2,s2ฯ4โ)
- ์ฆ, ๊ณ ์ ๊ฐ์ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ค์ฌ์ผ๋ก ํ ์ ๊ท๋ถํฌ๋ฅผ ๋ฐ๋ฅด๋ฉฐ, ์ด๋ Monte Carlo ์๋ฎฌ๋ ์ด์ ์ผ๋ก๋ ๊ฒ์ฆ๋ฉ๋๋ค.
Theorem 1: ์ต์ ๊ณ ์ ๊ฐ์ ๊ธฐ๋๊ฐ
- nnn๊ฐ์ ๊ณ ์ ๊ฐ์ด ์ ๊ท๋ถํฌ N(ฯ2,ฮฝ2)\mathcal{N}(\sigma^2, \nu^2)N(ฯ2,ฮฝ2)๋ฅผ ๋ฐ๋ฅธ๋ค๊ณ ํ ๋, ์ต์ ๊ณ ์ ๊ฐ์ ๊ธฐ๋๊ฐ์ ๋ค์๊ณผ ๊ฐ์ด ๊ทผ์ฌ๋ฉ๋๋ค:
E(ฮปmin)โฯ2+ฮฝโ ฮฆโ1(1โฮฑnโ2ฮฑ+1)E(\lambda_{\text{min}}) \approx \sigma^2 + \nu \cdot \Phi^{-1}\left(\frac{1 - \alpha}{n - 2\alpha + 1}\right)E(ฮปminโ)โฯ2+ฮฝโ ฮฆโ1(nโ2ฮฑ+11โฮฑโ)
- ์ฌ๊ธฐ์ ฮฆโ1\Phi^{-1}ฮฆโ1๋ ํ์ค ์ ๊ท๋ถํฌ์ ์ญ๋์ ํจ์, ฮฑ=0.375\alpha = 0.375ฮฑ=0.375, ฮฝ=2ฯ4s\nu = \sqrt{\frac{2\sigma^4}{s}}ฮฝ=s2ฯ4โโ์ ๋๋ค.
- ์ด ์์ ๋ฐ๋ฅด๋ฉด, ์ต์ ๊ณ ์ ๊ฐ์ ๊ธฐ๋๊ฐ์ ํญ์ ฯ2\sigma^2ฯ2๋ณด๋ค ์๊ฒ ๋ํ๋๋ฉฐ, ์์ฌ ์ฐจ์์ ์๊ฐ ๋ง์์๋ก ๊ณผ์ํ๊ฐ ์ ๋๊ฐ ์ปค์ง๋๋ค.
โ ๏ธ ๊ฒฐ๋ก ๋ฐ ํ๊ณ
- ๊ธฐ์กด ๋ฐฉ๋ฒ([19], [23])์ ์ต์ ๊ณ ์ ๊ฐ์ ๋ ธ์ด์ฆ ์ถ์ ์น๋ก ์ฌ์ฉํ์ง๋ง, ์ด๋ ํต๊ณ์ ์ผ๋ก ๊ณผ์ํ๊ฐ๋ ์๋ฐ์ ์๋ ๊ตฌ์กฐ์ ๋๋ค.
- ํนํ, ๊ณ ์ฐจ์ ์ด๋ฏธ์ง๋ ํจ์น ์๊ฐ ๋ง์์๋ก ์ด ์ค์ฐจ๋ ๋ ์ปค์ง๋ฉฐ, ์ ํํ ๋ ธ์ด์ฆ ์ถ์ ์ ์ํด์๋ ๊ณ ์ ๊ฐ ์ ์ฒด ๋ถํฌ๋ฅผ ๊ณ ๋ คํ ํ๊ท ๊ธฐ๋ฐ ์ ๊ทผ์ด ํ์ํฉ๋๋ค.
3.4. ์ฐจ์ ์ ํ ์๊ณ ๋ฆฌ์ฆ
์์ ์น์ ์์ ์ค๋ช ํ ๋ฐ์ ๊ฐ์ด, ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ ํํ๊ฒ ์ถ์ ํ๊ธฐ ์ํด์๋ ๋ ธ์ด์ฆ๋ง ํฌํจ๋ ๊ณ ์ ๊ฐ ์งํฉ S2\mathbf{S}_2S2โ ์ ์ฒด๋ฅผ ๊ณ ๋ คํด์ผ ํฉ๋๋ค. ํ์ง๋ง ์ค์ ๋ก๋ ์ ํธ๊ฐ ํฌํจ๋ ์ฐจ์ ์ mmm ๋ฅผ ์ฌ์ ์ ์ ์ ์๊ธฐ ๋๋ฌธ์, ์ด๋ฅผ ์๋์ผ๋ก ์ถ์ ํ๋ ์๊ณ ๋ฆฌ์ฆ์ด ํ์ํฉ๋๋ค.
๋ ผ๋ฌธ์์๋ ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์์ ์ด์์น(upper outliers) ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํ ์ฐจ์ ์ ํ ์๊ณ ๋ฆฌ์ฆ์ ์ ์ํฉ๋๋ค.
๐ง ํต์ฌ ์์ด๋์ด
- ๊ณ ์ ๊ฐ ์งํฉ S={ฮป1,ฮป2,โฆ,ฮปr}\mathbf{S} = {\lambda_1, \lambda_2, \ldots, \lambda_r}S={ฮป1โ,ฮป2โ,โฆ,ฮปrโ}์์
- ์ ํธ๊ฐ ํฌํจ๋ ์ฐจ์์ ๊ณ ์ ๊ฐ์ ํ๊ท ๋ณด๋ค ํฌ๊ณ
- ๋ ธ์ด์ฆ๋ง ํฌํจ๋ ์ฐจ์์ ๊ณ ์ ๊ฐ์ ํ๊ท ๊ณผ ์ค์๊ฐ์ด ๊ฑฐ์ ๊ฐ์
- ๋ฐ๋ผ์, ๊ณ ์ ๊ฐ ์งํฉ์์ ํ๊ท ์ด ์ค์๊ฐ๋ณด๋ค ํฐ ๊ฒฝ์ฐ, ์์ ์ด์์น๊ฐ ์กด์ฌํ๋ค๊ณ ํ๋จํ๊ณ
- ๊ฐ์ฅ ํฐ ๊ณ ์ ๊ฐ์ ์ ๊ฑฐํ๋ฉฐ ๋ฐ๋ณต
- ํ๊ท ์ด ์ค์๊ฐ๊ณผ ๊ฐ์์ง๋ ์๊ฐ, ์ ํธ ์ฐจ์ ์ ๊ฑฐ ์๋ฃ โ ์์ฌ ์ฐจ์๋ง ๋จ์
๐ Theorem 2: ํ๊ท ๊ณผ ์ค์๊ฐ์ ๊ด๊ณ
- m>0m > 0m>0์ผ ๋: ๊ณ ์ ๊ฐ ์งํฉ์ ํ๊ท ์ ์ค์๊ฐ๋ณด๋ค ํผ
- m=0m = 0m=0 ๋๋ ์ด์์น๊ฐ ์์ ๋: ํ๊ท ๊ณผ ์ค์๊ฐ์ด ๊ฐ์
- ์ด ๊ด๊ณ๋ฅผ ํตํด ์ ํธ ์ฐจ์ ์ mmm ๋ฅผ ์ถ์ ํ ์ ์์
โ๏ธ Algorithm 1: ์์ ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์
- ์ ๋ ฅ ์์ III์์ sss๊ฐ์ ํจ์น๋ฅผ ์ถ์ถ
- ํ๊ท ๋ฒกํฐ ฮผ\muฮผ ๊ณ์ฐ
- ๊ณต๋ถ์ฐ ํ๋ ฌ ฮฃ\Sigmaฮฃ ๊ณ์ฐ
- ๊ณ ์ ๊ฐ ฮป1โฅฮป2โฅโฏโฅฮปr\lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_rฮป1โโฅฮป2โโฅโฏโฅฮปrโ ์ ๋ ฌ
- ๋ฐ๋ณต๋ฌธ์ ํตํด ๊ณ ์ ๊ฐ ์งํฉ์ ํ๊ท ๊ณผ ์ค์๊ฐ ๋น๊ต
- ํ๊ท = ์ค์๊ฐ์ด ๋๋ ์๊ฐ์ ํ๊ท ๊ฐ์ ฯ\tauฯ๋ก ์ค์
- ๋ ธ์ด์ฆ ํ์คํธ์ฐจ ฯ=ฯ\sigma = \sqrt{\tau}ฯ=ฯโ ๋ฐํ
3.5. ๊ตฌํ ๋ฐ ์๊ฐ ๋ณต์ก๋
๋ณธ ๋ฐฉ๋ฒ์ ํต์ฌ ์์ด๋์ด๋ ์ฃผ์ฑ๋ถ ์ฐจ์ S1\mathbf{S}_1S1โ์ ๊ณ ์ ๊ฐ์ S\mathbf{S}S์์ ์ ๊ฑฐํจ์ผ๋ก์จ ์ ํํ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ป๋ ๊ฒ์ ๋๋ค. ์ Algorithm 1์ ์ค๋ช ๋ ๋จ๊ณ์ ๋ฐ๋ผ ์๊ฐ ๋ณต์ก๋๋ฅผ ๋ถ์ํ ์ ์์ต๋๋ค.
- sss๊ฐ์ rrr-์ฐจ์ ์ํ์ ๊ฐ๋ X\mathbf{X}X์งํฉ์ ์์ฑํ๋ ๋ณต์ก๋๋ O(sr)O(sr)O(sr)์ ๋๋ค.
- ๋ฐ์ดํฐ์ X\mathbf{X}X์ ํ๊ท ๋ฒกํฐ ฮผ\mathbf{\mu}ฮผ ๋ฐ ๊ณต๋ถ์ฐ ํ๋ ฌ ฮฃ\mathbf{\Sigma}ฮฃ๋ฅผ ๊ณ์ฐํ๋ ๊ฒ์ ๊ฐ๊ฐ O(sr)O(sr)O(sr) ๋ฐ O(sr2)O(sr^2)O(sr2)์ ๋๋ค.
- ฮฃ\mathbf{\Sigma}ฮฃ์ ๊ณ ์ ๋ถํด๋ O(r3)O(r^3)O(r3)์ ๋๋ค.
-
4๋จ๊ณ์ ์ ๋ ฌ ๊ณผ์ ์ O(rlogโกr)O(r \log r)O(rlogr)(ํน์ O(r2)O(r^2)O(r2)if using selection sort as implied by loop)๋ฅผ ์๋นํ๋ฉฐ, 5-9๋จ๊ณ์ ํ์ธ ์ ์ฐจ๋ ์ต์ ์ ๊ฒฝ์ฐ rrr๋ฒ ๋ฐ๋ณตํ๋ฉฐ ๊ฐ ๋ฐ๋ณต์์ ํ๊ท ๊ณผ ์ค์๊ฐ์ ๊ณ์ฐํ๋ฏ๋ก O(rโ r)=O(r2)O(r \cdot r) = O(r^2)O(rโ r)=O(r2)๊ฐ ๊ฑธ๋ฆฝ๋๋ค.
- Algorithm 1์ r2r^2r2๋ ๊ณ ์ ๊ฐ ๊ฐ์ rrr์ ๋ํด rrr๋ฒ ๋ฐ๋ณตํ๋ฉฐ ๋งค ๋ฐ๋ณต๋ง๋ค ๋ถ๋ถ ์งํฉ์ ํ๊ท ์ ๊ณ์ฐํ๊ณ , ์ค์๊ฐ์ ์ฐพ๋ ๋ฐ O(r)O(r)O(r)๊ฐ ๊ฑธ๋ฆฌ๊ธฐ ๋๋ฌธ์ ๋๋ค.
๋ฐ๋ผ์, ๋ณธ ๋ฐฉ๋ฒ์ ์ด ์๊ฐ ๋ณต์ก๋๋ O(sr2+r3)O(sr^2 + r^3)O(sr2+r3)์ด๋ฉฐ, ์ด๋ ๋คํญ ์๊ฐ(polynomial time)์ ํด๊ฒฐ๋ ์ ์์์ ์๋ฏธํฉ๋๋ค.
-
์คํ
์ ์๋ ๋ ธ์ด์ฆ ์ถ์ ์๊ณ ๋ฆฌ์ฆ์ ์ฑ๋ฅ์ ํ๊ฐํ๊ธฐ ์ํด ํฉ์ฑ ๋ ธ์ด์ฆ ์์, ์ค์ ๋ ธ์ด์ฆ ์์, ๊ทธ๋ฆฌ๊ณ ์์ ๋ณต์ ์์ฉ(BM3D) ์์์ ํจ๊ณผ๋ฅผ ์คํ์ ์ผ๋ก ๊ฒ์ฆํ์ต๋๋ค. ๋น๊ต ๋์์ ๊ธฐ์กด์ ๋ํ์ ์ธ ๋ ธ์ด์ฆ ์ถ์ ๋ฐฉ๋ฒ [19], [23]์ด๋ฉฐ, ๋ชจ๋ ์คํ์ ๋์ผํ ํ๊ฒฝ(MATLAB R2013a, Intel i7 CPU)์์ ์ํ๋์์ต๋๋ค.
4.1 ํ๋ผ๋ฏธํฐ ์ค์
- ์๊ณ ๋ฆฌ์ฆ์์ ์ ์ผํ ์ฌ์ ์ค์ ํ๋ผ๋ฏธํฐ๋ ํจ์น ํฌ๊ธฐ ( d ) ์ ๋๋ค.
- ํจ์น ํฌ๊ธฐ๊ฐ ํด์๋ก ํ ์ค์ฒ ํํ์ ์ ๋ฆฌํ์ง๋ง, ์ํ ์ ( s )๊ฐ ์ค์ด๋ค์ด ํต๊ณ์ ์ ๋ขฐ๋๊ฐ ๋ฎ์์ง๊ณ ์คํ ์๊ฐ์ด ์ฆ๊ฐํฉ๋๋ค.
- ๋ณธ ๋ ผ๋ฌธ์์๋ ํจ์น ํฌ๊ธฐ ( d = 8 ) ์ ๊ธฐ๋ณธ๊ฐ์ผ๋ก ์ฌ์ฉํ์ฌ ์ฑ๋ฅ๊ณผ ํจ์จ์ฑ์ ๊ท ํ์ ๋ง์ท์ต๋๋ค.
4.2 ๋ ธ์ด์ฆ ๋ ๋ฒจ ์ถ์ ๊ฒฐ๊ณผ
4.2.1 TID2008 ๋ฐ์ดํฐ์
- ํฉ์ฑ๋ ๋ฐฑ์ ๋ ธ์ด์ฆ๋ฅผ ์ถ๊ฐํ ์์์ ๋ํด ๋ ธ์ด์ฆ ์์ค์ ์ถ์
- ํ๊ฐ ์งํ:
- Bias: ์ถ์ ์น์ ์ ํ๋
- Std: ์ถ์ ์น์ ๊ฒฌ๊ณ ์ฑ
- โMSE: ์ ์ฒด ์ฑ๋ฅ
- ์ ์๋ ๋ฐฉ๋ฒ์ ๋๋ถ๋ถ์ ๊ฒฝ์ฐ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ณด๋ค ๋ ์ ํํ๊ณ ๊ฒฌ๊ณ ํ ์ถ์ ์ ๋ณด์์ผ๋ฉฐ, ์คํ ์๊ฐ๋ ์ฝ 8๋ฐฐ ๋น ๋ฆ (0.5์ด vs 4์ด)
4.2.2 BSDS500 ๋ฐ์ดํฐ์
- ํ ์ค์ฒ๊ฐ ํ๋ถํ ์์์์์ ์ฑ๋ฅ์ ํ๊ฐ
- ์ ์๋ ๋ฐฉ๋ฒ์ ๋ชจ๋ ์งํ์์ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ณด๋ค ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์์ผ๋ฉฐ, Gavish์ ๋ฐฉ๋ฒ๋ณด๋ค๋ ๋ ๋ฎ์ MSE๋ฅผ ๊ธฐ๋กํจ
4.2.3 ์ค์ ๋ ธ์ด์ฆ ์์
- Nikon D5200์ผ๋ก ์ ์กฐ๋ ํ๊ฒฝ์์ ์ดฌ์ํ 100๊ฐ์ ์ ์ ์ฅ๋ฉด ์์ ์ฌ์ฉ
- ํ๊ท ์์์ ๊ธฐ์ค์ผ๋ก ์ง์ ์ง์ค ๋ ธ์ด์ฆ ๋ถ์ฐ์ ๊ณ์ฐ
- ์ ์๋ ๋ฐฉ๋ฒ์ ์ค์ ๋ ธ์ด์ฆ ํ๊ฒฝ์์๋ ๊ฐ์ฅ ์ ํํ ์ถ์ ์ฑ๋ฅ์ ๋ณด์
4.3 ์์ ์ก์ ์ ๊ฑฐ ์์ฉ
- ์ ์๋ ๋ ธ์ด์ฆ ์ถ์ ์น๋ฅผ BM3D ์๊ณ ๋ฆฌ์ฆ์ ์ ๋ ฅ ํ๋ผ๋ฏธํฐ๋ก ์ฌ์ฉ
- TID2008 ๋ฐ BSDS500 ์์์์ BM3D ์ฑ๋ฅ์ ํ๊ฐ
- ๊ฒฐ๊ณผ์ ์ผ๋ก, ์ถ์ ๋ ๋ ธ์ด์ฆ ์์ค์ ์ฌ์ฉํ BM3D์ ์ฑ๋ฅ์ ์ค์ ๋ ธ์ด์ฆ ์์ค์ ์ฌ์ฉํ ๊ฒฝ์ฐ์ ๊ฑฐ์ ๋์ผ
- ์ด๋ ์ ์๋ ๋ฐฉ๋ฒ์ด ์ค์ ๋๋ ธ์ด์ง ์์ฉ์๋ ๋งค์ฐ ์ ํฉํจ์ ๋ณด์ฌ์ค
-
ํ ๋ก
์ด ์ฐ๊ตฌ๋ ๋จ์ผ ๋ ธ์ด์ฆ ์์์์ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ํจ์จ์ ์ผ๋ก ์ถ์ ํ๋ ํต๊ณ์ ๋ฐฉ๋ฒ์ ์ ์ํ์ต๋๋ค. ํต์ฌ์ ์ธ ๊ธฐ์ฌ๋ ์์ ํจ์น์ ๊ณต๋ถ์ฐ ํ๋ ฌ์ ๊ณ ์ ๊ฐ๊ณผ ๋ ธ์ด์ฆ ๋ถ์ฐ ์ฌ์ด์ ํต๊ณ์ ๊ด๊ณ๋ฅผ ์ฌ์ธต์ ์ผ๋ก ๋ถ์ํ ๊ฒ์ ๋๋ค. ํนํ, ์ด์ ์ ์ต์ ๋ฐฉ๋ฒ๋ค์ด ๊ฐ์ฅ ์์ ๊ณ ์ ๊ฐ์ ๋ ธ์ด์ฆ ์ถ์ ์น๋ก ์ฌ์ฉํ์ฌ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ๊ณผ์ํ๊ฐํ๋ ๋ฌธ์ ๋ฅผ ์ด๋ก ์ ์ผ๋ก ๊ท๋ช ํ๊ณ , ์ด๋ฅผ Lemma 1๊ณผ Theorem 1์ ํตํด ์ฆ๋ช ํ์ต๋๋ค.
์ ์๋ ๋น๋ชจ์ ์๊ณ ๋ฆฌ์ฆ์ ์ด๋ฌํ ๊ณผ์ํ๊ฐ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด, ์์ฌ ์ฐจ์ ๊ณ ์ ๊ฐ์ ํต๊ณ์ ํน์ฑ(๊ฐ์ฐ์์ ๋ถํฌ)์ ํ์ฉํ์ฌ ์ด์์น๋ฅผ ์ ๊ฑฐํ๊ณ ์ค์ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์ถ์ ํฉ๋๋ค. Algorithm 1์ ์ฐจ์ ์ ํ ์ ์ฐจ๋ ๊ณ ์ ๊ฐ ์งํฉ์ ํ๊ท ๊ณผ ์ค์๊ฐ์ ๋น๊ตํ์ฌ ์ด์์น ์กด์ฌ ์ฌ๋ถ๋ฅผ ํ๋จํ๋ฉฐ, ์ด๋ Theorem 2์ ์ํด ์ด๋ก ์ ์ผ๋ก ์ ๋นํ๋ฉ๋๋ค.
์คํ ๊ฒฐ๊ณผ๋ ์ ์๋ ๋ฐฉ๋ฒ์ด ๊ธฐ์กด์ ์ต์ ์๊ณ ๋ฆฌ์ฆ([19, 23])๋ณด๋ค ํจ์ฌ ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์์ ๋ช ํํ ๋ณด์ฌ์ค๋๋ค. TID2008๊ณผ BSDS500 ๋ฐ์ดํฐ์ ๋ชจ๋์์ ๋ณธ ๋ฐฉ๋ฒ์ ์ ํ๋, ๊ฒฌ๊ณ ์ฑ, ๊ทธ๋ฆฌ๊ณ ์๋ ๋ฉด์์ ๋ฐ์ด๋ฌ์ต๋๋ค. ํนํ, ํ ์ค์ฒ๊ฐ ํ๋ถํ์ฌ ๋ ธ์ด์ฆ ์ถ์ ์ด ์ด๋ ค์ด BSDS500 ๋ฐ์ดํฐ์ ๊ณผ ์ค์ ํ๊ฒฝ์์ ์ดฌ์๋ ๋ ธ์ด์ฆ ์์์์ ๊ทธ ์ฐ์์ฑ์ด ๋์ฑ ๋๋๋ฌ์ก์ต๋๋ค. ์คํ ์๊ฐ ์ธก๋ฉด์์, ๋ณธ ๋ฐฉ๋ฒ์ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ค๋ณด๋ค ์ฝ 8๋ฐฐ ๋นจ๋ผ ์ค์ฉ์ ์ธ ์์ฉ์ ๋งค์ฐ ์ ํฉํฉ๋๋ค.
BM3D์ ๊ฐ์ ๋ฐ๋ ธ์ด์ง ์๊ณ ๋ฆฌ์ฆ์ ๋ณธ ๋ฐฉ๋ฒ์ผ๋ก ์ถ์ ๋ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ ๋ ฅ์ผ๋ก ์ฌ์ฉํ์ ๋, ์ฐธ ๋ ธ์ด์ฆ ๋ ๋ฒจ์ ์ฌ์ฉํ์ ๋์ ๊ฑฐ์ ๋์ผํ ๋ฐ๋ ธ์ด์ง ์ฑ๋ฅ์ ๋ฌ์ฑํ์ต๋๋ค. ์ด๋ ๋ณธ ๋ ธ์ด์ฆ ์ถ์ ๋ฐฉ๋ฒ์ ์ค์ฉ์ ๊ฐ์น๋ฅผ ๊ฐ๋ ฅํ๊ฒ ๋ท๋ฐ์นจํฉ๋๋ค.
๋ณธ ์ฐ๊ตฌ์ ํ๊ณ์ ์ ๋ ธ์ด์ฆ๊ฐ ์ํ๊ท ๊ฐ๋ฒ์ ๊ฐ์ฐ์์ ๋ถํฌ๋ฅผ ๋ฐ๋ฅธ๋ค๊ณ ๊ฐ์ ํ ๊ฒ์ ๋๋ค. ์ค์ ํ๊ฒฝ์์์ ๋ ธ์ด์ฆ๋ ๋ ๋ณต์กํ ํน์ฑ์ ๊ฐ์ง ์ ์์ผ๋ฉฐ, ์ด๋ ํฅํ ์ฐ๊ตฌ์ ๋ฐฉํฅ์ ๋๋ค.
-
๊ฒฐ๋ก
๋ณธ ๋ ผ๋ฌธ์์๋ ๋จ์ผ ๋ ธ์ด์ฆ ์์์ผ๋ก๋ถํฐ ๋ ธ์ด์ฆ ๋ถ์ฐ์ ์๋์ผ๋ก ์ถ์ ํ๋ ํจ์จ์ ์ธ ๋ฐฉ๋ฒ์ ์ ์ํ์ต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ๋ค์ํ ์ปดํจํฐ ๋น์ ์๊ณ ๋ฆฌ์ฆ์ ๋งค์ฐ ์ค์ํฉ๋๋ค. ์ ์๋ ๋ฐฉ๋ฒ์ ์ฑ๋ฅ์ ์ด๋ก ์ ์ผ๋ก ๋ณด์ฅ๋์์ผ๋ฉฐ, ๋ ๊ฐ์ง ์ต์ ๋ฐฉ๋ฒ๊ณผ ๋น๊ตํ์ฌ ๋๋ถ๋ถ์ ๊ฒฝ์ฐ ๊ฐ์ฅ ์ ์ ์คํ ์๊ฐ์ผ๋ก ์ต๊ณ ์ ์ ํ๋๋ฅผ ๋ฌ์ฑํจ์ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
์ฝ์ด์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค :)