Journal : [OSA Publishing](https://www.osapublishing.org/) > [Optics Letters](https://www.osapublishing.org/ol/) > https://doi.org/10.1364/OL.437375
Dongheon Yoo, Youngjin Jo, Seung-Woo Nam, Chun Chen, and Byoungho Lee
Citation : D. Yoo, Y. Jo, S. Nam, C. Chen, and B. Lee, "Optimization of computer-generated holograms featuring phase randomness control," Opt. Lett. 46, 4769-4772 (2021).
제안 : CGH reconstruction phase의 randomness를 제어할 수 있는 Optimization technique
목적 : Random phase와 함께 계산된 2개의 target scene 합산을 통한 CGH 합성
Holographic near-eye display는 Multifocal display나 light field display과 같은 3D display technique과 비교하여 compact formfactor, aberration compensation, high resolution의 장점을 가진다. 그러나 아직까지 상용화 SLM들은 phase와 amplitude를 동시에 modulate 할 수 없다. 이 Letter에서는 Phase-only CGH 합성과 SGD(Stochastic gradient descent), DPAC(Double Phase-Amplitude Coding), GS(Gerchberg-Saxton) algorithm과 같은 phase-only CGH generation representation technique을 실험을 통해 비교한다.
SGD-based optimization method가 image quality에서 SOTA를 달성하였으나, reconstructed complex amplitude와 phase randomness를 고려하지 않았다. Phase randomness는 eyebox size와 depth of field와 관련있기 때문에 상당히 중요하다. DPAC method에서는 amplitude와 phase를 독립적으로 처리하는것이 가능하였고, 이전의 연구들에서 Uniform or sparse phase distribution에 효과적이라는 것이 증명되었다. 하지만 random phase distribution에 대해서는 image quality가 급감한다. GS algorithm은 random phase를 지원하지만 speckle pattern이 reconstructed image를 손상시킨다.
| SGD | DPAC | GS | Proposed | |
| Random phase | 고려되지 않음 | Image quality 급감 | 지원 | 지원 |
| Image quality | SOTA | 제한된 상황에서 효과적 | Speckle pattern에 의한 손상 | 좋음 |
우리는 phase randomness에서 image quality를 향상시키는 CGH optimization technique을 제안한다. 우리의 algorithm은 specific pixel weight pattern(e.g checkerboard pattern)에 따라 2개의 phase-only term을 linear combining하여 complex amplitude를 represent한다. weight pattern은 자유롭게 조절가능하고, CGH가 아닌, optimization variable을 통해 설정되고, target scene에 따라 변경된다.
Fig. 1은 제안된 algorithm에서의 CGH 합성 과정을 나타낸다.
1. SLM상의 Complex amplitude $u_s \in \mathbb{C}^{N_x \times N_y}$가 angular spectrum method에 의해 reconstructed target plane의 complex amplitude $u_t \in \mathbb{C}^{N_x \times N_y}$로 부터 다음과 같이 calculate된다.
$$u_s = \mathcal{F}^{-1}(\mathcal{F}(u_t) \circ H) \qquad (1)$$
이 때 $\mathcal{F}(\cdot)$ 과 $\mathcal{F}^{-1}(\cdot)$은 각각 Fourier transform과 Inverse Fourier transform을 의미하고, $\circ$는 Element-wise multiplication을 의미한다. SLM resolution은 $N_x×N_y$이다. $H$는 아래와 같이 define된 transfer function이다.
$$H = \begin{cases}e^{-i{2\pi \over \lambda} z\sqrt{1-(\lambda f_x)^2-(\lambda f_y)^2}} & , if \sqrt{{f_x}^2 + {f_y}^2} < {1\over \lambda}\\0 &, otherwise\end{cases} \qquad (2)$$
$z$는 SLM과 reconstruction phase간의 거리이고, $\lambda$는 wavelength, $f_x$와 $f_y$는 spatial frequency이다. $u_i$의 phase는 zero mean을 가지는 normally distributed random variable로 초기화되고, $[-\pi, \pi)$의 범위로 줄어든다.
2. CGH 합성을 위한 2개의 항 $h_{p1,2}$가 $u_s$로 부터 다음과 같이 유도된다.
$$h_{p1} = \angle u_s - cos^{-1} |\hat u_s| \\ h_{p2} = \angle u_s + cos^{-1} |\hat u_s| \qquad (3)$$
이때 $\angle$은 extraction function의 각도이다. $u_s$가 normalize되기 때문에, normalized field $\hat u_s$의 amplitude는 [0,1]이다. $h_{p1,2}$를 계산한 후, weighting pattern $M \in \mathbb{R}^{N_x \times N_y}$가 초기화 된다. 우리는 SLM 상의 phase-only CGH $h_p$를 다음과 같이 계산한다.
$$h_p = h_{p1} \circ S(M) + h_{p2} \circ(1-S(M)) \qquad(4)$$
이때 $S(\cdot) : \mathbb{R}^{N_x \times N_y} \rightarrow \mathbb{R}^{N_x \times N_y}$는 $M$의 각 요소를 [0,1]으로 mapping하는 function으로, 아래와 같은 hard sigmoid function이다.
$$s(\omega) = \begin{cases}0 & ,\omega < -2.5\\0.2\omega + 0.5 & ,-2.5 \leq \omega \leq 2.5 \qquad (5) \\ 1 & \omega > 2.5\end{cases}$$
이때 $\omega$는 임의의 variable이고, 성능에 큰 영향을 미치지 않는다면 다른 형태의 mapping function이 사용되어도 된다.
$z$의 거리를 가지는 complex amplitude $u_r$은 다음과 같다.
$$u_r = \mathcal{F}^{-1}(\mathcal{F}(e^{ih_p})\circ \bar H) \qquad (6)$$
이 때 $\bar H$는 transfer function H의 conjugate이다. 전반적으로 다음을 해결하여 weighting pattern을 찾는다.
$$underset{M}{\operatorname{minimize}} \mathcal{L}\left(s \cdot\left|u_{r}\right|,\left|u_{t}\right|\right) \qquad (7)$$
이 때, $\mathcal{L}$은 loss function을 의미하고, 우리는 MSE를 loss function으로 사용하였다. $s = \sqrt{\sum |u_t|^2 / \sum |u_r|^2}$는 reconstructed amplitude의 energy를 조절하기 위한 scale parameter이다.
제안된 algorithm의 평가를 위해 PSNR, SSIM, reconstructed phase distribution의 standard deviation $\delta_r$을 활용하였다. Fig. 2에서는 제안된 algorithm과 DPAC, GS, SGD들의 결과를 비교하고 있다 Simulation동안 target phase는 $[-\pi, \pi)$의 범위를 가지는 random phase라고 가정한다.
Simulation 환경
- Light source : $638 nm, 520 nm, 450 nm$
- Virtual SLM resolution : ${1920 \times 1080}$ pixel
- Region of Interest : ${1480 \times 740}$ pixel
- Pixel pitch : $7.2 \mu m$
- Tensorflow, Adam optimizer
- H/W : NVIDIA Tesla P40 GPU
Simulation 결과(Time for CGH generation) - 100번 시도의 평균값
- DPAC(Non-iterative) : 0.025s
- GS : 0.038s
- SGD : 0.040s
- Proposed algorithm : 0.041s
SGD가 image quality 측면에서 가장 좋다. 하지만, reconstructed phase는 다른 방법에 의한 phase에 비해 상대적으로 smooth한 variation을 보이고, 이러한 smooth variation은 Fig. 3에서 보여지는것과 같이 reconstructed field의 limited angular spectrum range를 의미하고, 이는 Fourier domain에서 normalized amplitude를 시각화한다. Limited bandwidth는 추가적인 optical 혹은 mechanical elements가 eyebox 확장을 위해 사용되지 않는 이상 효과적인 eyebox size감소를 유도할 수 있다.
반면 제안된 algorithm은 중간정도의 Image quality를 보이고, random phase를 지원한다. 이는 algorithm이 SLM에서 지원하는 angular spectrum bandwidth를 전부 활용할 수 있도록 한다. DPAC과 GS 또한 random phase를 지원하기는 하지만, Reconstructed intensity가 glanular pattern에 의해 심각하게 훼손된다.
DIV2K dataset의 100개 image에 대한 image quality와 phase randomness 측정결과는 FIg. 2(c)를 참조, 100개의 image에 대해 평균화 되었고, Error bar는 standard error를 의미, Error가 크지 않은 것으로 보아 100개 image에 대한 결과가 Fig. 2(a)나 Fig. 2(b)와 크게 다르지 않다는 것을 알 수 있다.
Fig. 4에서는 different multi-depth CGH rendering algorithm이 diffusive scene에 대해 어떻게 동작하는지를 보여준다. Simulation 상에서 두 개의 diffusive plane은 Fig. 4(a)와 같이 다른 depth에서 떠다닌다고 가정한다. Fig. 4(b)는 각 depth의 reconstructed image를 시각화한것으로, 제안된 algorithm을 최근 제안된 다른 algorithm들과 비교한다.
Complex SGD method는 complex amplitude의 관점에서 target과 reconstruction 사이의 차이를 최소화 시키는데 주목한다. 따라서 method는 phase constraint를 적용할 수 있지만, random phase로 complex amplitude를 근사하는경우 speckle pattern으로 인해 image quality가 저하된다. 반면 제안된 algorithm은 특히 In-focus image의 uniform area에서 speckle을 완화할 수 있다. 이는 loss function이 SGD approach에서와 같이 depth 전체에서 image 불일치에 직접 penalty를 부가하기 때문이다. 제안된 algorithm의 out-of-focus 결과가 figure에서 diffusive하는것으로 나타나, multi-depth scene에 대한 random phase를 지원한다는 것을 알 수 있다.
제안된 algorithm은 또한 phase randomness의 정도를 조절할 수 있다. 우리는 reconstructed phase distribution의 $\delta_r$이 initial phase distribution의 $\delta_i$에 비례한다는 것을 발견하였다. 이를 증명하기 위해 다양한 $\delta_i$에 대한 $\delta_r$을 계산하고 이를 Fig. 5(a)에 나타내었다. Plot상의 각 점은 지정된 특정 $\delta_i$ 값에 해당하는 DIV2K validation dataset의 20개 image에 대한 $\delta_r$값의 평균이다. Fig. 5(b)에서는 서로 다른 $\delta_r$ 값에 대한 결과를, Fig. 5(c)에는 각 $\delta_r$에 해당하는 phase distribution을 나타내었다. Fig. 4에서와 같은 multi-depth content를 사용하였고, $\delta_r = 1.815$에 해당하는 결과가 Fig. 4에 나타나있다. 이보다 더 큰 $\delta_r$의 경우 depth discrepancy(5mm)에 대해 더 심한 blurring을 유발하여 작은 depth of field를 유도한다.
더 큰 $\delta_r$은 pixel-wise SSIM에서 증명된것과 같이, in-focus image에 대해 더 많은 noise를 보인다. Random phase는 uniform phase에 비해 SLM을 통해 target scene의 information을 널리 발산하게되고, 발산은 SLM 외부에 기록된 information의 손실을 유도하여 artifact를 유발한다. FIg. 5(b)에서 artifact는 viewing window의 edge에 집중되어있다.
실험환경 - Fig. 6(a)
- phase-only SLM : $3.6 \mu m$ pixel pitch, $3840 \times 2160$ pixel
- Green laser : 520 nm wavelength
- $7.2 \mu m$ pixel pitch & $1920 \times 1080$ pixel의 CGH를 render하고 4k로 nearest-neighbor interpolation
In-focus image result - Fig. 6(b)
- SGD 만큼은 아니지만, GS와 DPAC보다 나은 Image quality, contrast
- CITL(Camera-In-The-Loop)의 적용을 통해 더 나은 image quality
- simulaiton과 experiment간의 gap 경감
Out-focus image result - Fig. 6(c)
- SGD의 경우 out-focus image에 의한 random phase 지원 안됨
- 제안된 algorithm의 경우 random phase 지원
결론
- Diffusive scene의 phase randomness를 유지하면서, image quality를 optimize하는 algorithm제안
- DPAC과 GS에 비해 더 나은 image quality -> DIV2K로 정량적 검증
- SGD와 달리 random distribution을 따르는 reconstructed phase
- Randomness의 정도를 조절
- Out-focus image의 blur정도에 따라 reconstructed phase가 randomness를 유지함을 입증