來源：映維網  作者 夢秋

對于增強現實應用，虛擬對象應該無縫地集成在視圖中，從而實現一種真實對象和虛擬對象無法區分的效果。對于這一點，照亮虛擬對象或以真實世界的相同照明條件照亮虛擬對象，以及允許虛擬對象改變照明非常重要。

但對于增強現實場景，光照條件通常是未知的和任意的，所以難以為真實和虛擬對象提供一致的照明。

在增強現實應用程序中，為真實對象和虛擬對象提供一致照明的一種可能方法是估計真實環境光。現有技術的常用方法需要額外的設置，如鏡子或特殊攝像頭（魚眼攝像頭）。這無疑限制了所述方法的適用性。另外，大多數常用的方法只能估計環境光的方向，不能估計任何光源的位置。

估算或捕獲環境光的一種方法是通過全方位攝影頭或通過捕獲鏡像球體的圖像。可以根據全景圖像直接測量環境光。但這種方法的一個問題是需要額外的設置，如魚眼攝像頭或鏡像球體，而且添加到場景中的額外對象會改變原始場景。另外，這種方法主要是測量環境光的方向。

估算環境光的另一種方法是基于真實環境的圖像和真實環境的已知模型：使用RGB-D攝像頭捕獲真實環境的深度圖像，然后重建真實環境的表面。根據RGB-D攝像頭的RGB數據和深度數據，可以利用表面信息估計環境光。

針對上述方法的種種利弊，蘋果希望能夠提供一種具有普適性的方法，特別是在具有未知照明條件的環境。

在日前一份名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請中，蘋果介紹了在真實環境視圖中表示虛擬對象的方法與系統。

專利主要描述了一種在真實環境視圖中表示虛擬對象的方法和系統，所述系統包括提供由攝像頭捕獲的人臉的第一圖像圖像信息，提供至少一個人臉特定特征，確定第一圖像中的面部圖像區域為面部區域，根據面部區域和至少一個人臉特定特征確定照射在面部的至少一個第一光線，并根據第一光線在顯示設備上將虛擬對象混合至真實環境視圖。所述方法同時包括提供多個面部樣本位置，為多個面部樣本位置中的每一個提供輻射傳遞函數，確定第一圖像中的面部樣本位置的圖像位置，以及根據關聯的強度信息確定第一光線。

根據一個實施例，至少一個人臉特定特征包括但不限于以下至少一個：通用3D面部模型、面部至少一部分的幾何結構、面部至少一部分的材質屬性、面部至少一部分的顏色、至少一部分的輻射轉移特性、至少一部分的反射特性。

根據一個實施例，確定至少一個第一光線包括確定所述至少一個第一光線的至少一個特征，其中所述至少一個第一光線的至少一個特征包括強度、波長和方向中的至少一個。

根據一個實施例，確定至少一個第一光線包括確定至少一個光源發射、反射或折射至少一個第一光線的至少一部分的至少一個特征。其中，所述至少一個光源的至少一個特征包括以下至少一個：類型、強度、波長、方向、距離、位置、尺寸、面積、形狀、球面諧波系數、小波基系數和von Mises-Fisher分布的混合物系數。

根據一個方面，通過確定的至少一第一光線，系統將虛擬對象疊加到由顯示設備呈現的真實環境視圖中。

根據另一方面，專利描述的處理系統包含在諸如智能手機或平面電腦這樣的移動設備和/或適于與移動設備通信的服務器計算機中。處理系統可以僅包括在所述設備中的一個，或者可以是一個通過網絡通信的分布式系統。

根據一個實施例，第一攝像頭與顯示組件相關聯，使得當人臉面對顯示組件時，第一攝像頭捕捉到人臉的至少一部分。

根據一個實施例，系統包括移動裝置，移動裝置包括第一攝像頭和所述顯示組件，其中所述顯示組件的法線和第一攝像頭的光軸基本朝向相同的方向。基本相同的方向意味著方向角只有微小的偏差，如不超過5-10度。

簡單來說，蘋果提出的方法是利用iPhone或iPad的前置攝像頭來捕獲存用戶的面部，并相應地估計環境光，然后確定的信息來提供針對虛擬對象的照明。

蘋果指出這種解決方案存在一系列的優點：可用的用戶面部，所以不需要添加額外的幾何圖形，同時不需要繁瑣的設置；人臉在幾何和材質上的變化范圍有限，所以允許基于有效的假設和限制進行某種預處理和優化算法，從而更快、更有效地運行；只要用戶面對或看著AR視圖，亦即面對前置攝像頭，用戶的面部總是可用，所以可以支持動態變化的照明。

相關專利：Method And System For Representing A Virtual Object In A View Of A Real Environment

名為“Method And System For Representing A Virtual Object In A View Of A Real Environment”的專利申請最初在2020年8月提交，并在日前由美國專利商標局公布。

原文鏈接：https://yivian.com/news/80202.html