2009年，IMAX 3D電影《阿凡達》風靡全球電影市場。幾年后，初音未來3D演唱會吸引了所有動漫迷的目光。最近，AR/VR 3D頭戴設備帶動了元宇宙的蓬勃發展。3D顯示領域的每一項進步都帶來了重要的社會關注和經濟效益。

為了獲得更逼真的視覺體驗，主流的3D顯示商業解決方案大多基于雙目視覺原理。

然而，與觀察真實的3D物體不同的是，觀看者佩戴設備獲取3D信息時，視覺焦點的深度保持不變。這種聚散度調節沖突（VAC）使觀看者容易出現視覺疲勞和眩暈，從而限制了用戶體驗。

計算機生成全息術（CGH）可以從源頭上避免聚散調節沖突的產生。實驗裝置簡單緊湊。CGH受到了學術界和工業界的極大關注。它被視為3D顯示的未來形式。

原則上，CGH基于衍射計算將3D對象編碼為數字二維 (2D) 全息圖。然后將二維全息圖上傳到由平面波照明的空間光調制器 (SLM)。在一定距離處獲得 3D 物體的光學重建。CGH在廣泛的3D顯示器中具有潛在的應用，例如頭戴式顯示器、平視顯示器和投影顯示器。

如何高速、高質量地生成二維全息圖是目前該領域的一個關鍵問題和重要研究方向。

最近，清華大學精密儀器系研究團隊提出了一種模型驅動的深度學習神經網絡，稱為4K-DMDNet。實現高質量高速全息圖生成，實現高保真4K彩色全息顯示。

該研究以「4K-DMDNet: diffraction model-driven network for 4K computer-generated holography」為題，發表在《Opto-Electronic Advances》雜志上。

https://www.oejournal.org//article/doi/10.29026/oea.2023.220135

圖示：(a) 數據驅動深度學習與 (b) 4K-DMDNet在訓練原理方面的比較。

由于SLM的局限性，計算出的全息平面上的復振幅分布需要轉換為僅振幅全息圖或僅相位全息圖 (POH)。其中，POH生成過程是典型的不適定逆問題。它面臨的挑戰是解決方案可能不是唯一的、穩定的或現有的。

迭代算法可以將POH生成過程轉化為優化問題。可以獲得具有良好收斂性的數值解。然而，這些算法面臨計算速度和重建質量之間的權衡。

深度學習強大的并行處理能力為解決優化問題帶來了革命性的進步。深度學習對CGH也產生了深遠的影響。

預先獲得3D物體的訓練數據集和對應的全息圖數據集，作為神經網絡的輸入和輸出。訓練神經網絡學習它們之間的映射關系。經過訓練的網絡可以實現對訓練數據集之外的顯示目標輸入的快速預測。有望同時實現高速和高質量的全息圖生成。

利用神經網絡進行全息圖生成的想法早在 1998年就由日本研究人員提出，但受限于當時計算機的軟硬件性能，僅取得了初步的成果。

隨著GPU和卷積神經網絡（CNN）的廣泛應用，當前的硬件和軟件性能更適合CGH的數學特性。基于學習的CGH發展迅速。

2021年，麻省理工學院的研究人員提出了一種 「張量」 全息網絡，可以在智能手機上實時生成2K全息圖。

圖示：不同類型圖像的光學重建：(a) 彩色圖像和 (b) 二進制圖像。

為了獲得準確的網絡預測，訓練數據集和相應的全息圖數據集需要一個耗時的生成過程。此外，由于網絡只是學習輸入和輸出之間的映射，全息圖數據集的質量限制了訓練結果的上限。

為了突破數據驅動深度學習的上述局限性，提出了基于模型驅動深度學習的全息圖生成方案。

網絡不是預先生成全息圖數據集，而是通過使用逆問題的正向物理模型作為模型驅動方法中的約束來訓練網絡。網絡因此可以學習如何自主編碼全息圖，突破全息圖數據集大小和質量的限制。

然而，傳統的模型驅動的深度學習網絡需要在顯示目標上進行遷移學習才能獲得更好的性能。額外的時間成本限制了模型驅動深度學習的實際應用。

該研究提出的4K-DMDNet使用殘差U-Net神經網絡框架。Fresnel衍射模型作為訓練過程的約束。它能夠在沒有遷移學習的情況下生成高保真 4K 全息圖。

圖示：4K-DMDNet生成和重建4K全息圖的過程

一般來說，網絡的預測性能受到網絡有限的學習能力和訓練過程中約束不足的影響。

為了應對學習能力有限的挑戰，4K-DMDNet引入了亞像素卷積的方法。在上采樣路徑中，通過使用卷積將通道數擴展了四倍，空間擴展是通過像素shuffle獲得的。亞像素卷積方法解決了傳統轉置卷積中加入大量零參數進行空間擴展的挑戰。它在不改變整體數據量的情況下，將上采樣路徑中的可學習參數增加到原始大小的四倍。它有效地增強了網絡的學習能力，從而顯著提高了重建的清晰度和保真度。

為了解決訓練過程中約束不足的挑戰，4K-DMDNet在 Fresnel衍射模型中引入了過采樣操作。頻域中的約束區域被零填充以在計算過程中將尺寸加倍。根據空間采樣間隔和頻率范圍之間的映射，重建滿足Nyquist-Shannon采樣定理。在收緊頻域約束的同時，提高了衍射模型的精度。

https://techxplore.com/news/2023-02-model-driven-deep-high-fidelity-4k-holographic.html

文章來源：ScienceAI

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺