聊聊曠廠黑科技 | 如何拍攝一部手機電影

爬爬科技說

大多數(shù)時候，曠視研究員給人的印象，總是散發(fā)著理科生的氣質，有理想，但理性、追求極致，且果敢務實等等，這一次，研究員要給大家展示他們的另一面——懂浪漫。
最近，曠視上映了一部手機電影——《在一起的 1024 天》，特邀您來一同觀看。故事里的主人公，是一位被女朋友日常吐槽“不懂浪漫”的理科生，他通過手機記錄了與女朋友在一起 1024 天的點滴片段，將這些回憶連成一條線，串出屬于一段專屬于他們的浪漫故事。
影片中出現(xiàn)的焦點切換、雙重曝光、定制化光斑、人像虛化等通常在電影屏幕中才能體會到效果正是由曠視視頻特效算法提供，本期曠廠黑科技，讓我們一起走進曠視手機電影背后的技術。
集合五大算法 曠視手機電影玩出新花樣

當 vlog、手機電影成為了人們時下表達情緒，記錄生活的重要方式，那么一臺怎樣的設備，能幫助你更好的完成影像表達呢？大多數(shù)人可能選擇手機，一臺擁有高質量影像能力的手機，成為了人們更便捷的影像設備。隨著計算攝影的不斷發(fā)展，手機正在突破硬件局限，帶來更接近攝相機的拍攝效果，模擬出只有專業(yè)設備才能拍出的視頻特效。
在 2022 曠視技術開放日現(xiàn)場展示的手機電影Demo，集合了視頻人像虛化、視頻光斑特效、視頻人像留色和視頻雙重曝光四種視頻特效以及最新研發(fā)的電影模式算法。其中前四種視頻特效通過視頻人像分割算法、深度信息以及豐富而有趣的圖像處理算法，可以滿足不同場景和人物的拍攝需求，豐富拍攝體驗。

• 曠視人像虛化算法：保證對焦人物清晰，背景層次虛化，實現(xiàn)你的美最清晰。
  

登錄/注冊后可看大圖

原片
https://www.zhihu.com/video/1538888842346369024

登錄/注冊后可看大圖

曠視人像虛化算法
https://www.zhihu.com/video/1538889020398858240

• 曠視光斑特效算法：在保證對焦人物清晰的前提下，使得背景層次虛化并有豐富光斑，實現(xiàn)畫面中你最閃耀。
  

登錄/注冊后可看大圖

原片
https://www.zhihu.com/video/1538889111678582785

登錄/注冊后可看大圖

曠視光斑特效算法
https://www.zhihu.com/video/1538889201587679232

• 曠視人像留色算法：通過提亮對焦人物色彩，背景黑白處理，實現(xiàn)畫面中只留存你的美麗色彩。
  

登錄/注冊后可看大圖

曠視人像留色算法
https://www.zhihu.com/video/1538889279706681346

• 曠視雙重曝光算法：將對焦人物和虛化背景的完美結合，炫酷值Max。
  

登錄/注冊后可看大圖

曠視雙重曝光算法
https://www.zhihu.com/video/1538889341622956032
電影模式算法則利用單攝深度信息、對焦主體檢測和多目標跟蹤算法、圖像虛化算法，實現(xiàn)手機平臺模擬單反大光圈的視頻效果，并在此基礎上疊加手動切焦技術，實時實現(xiàn)順滑的焦點變換，模擬出電影鏡頭般的拍攝效果，從而提高視頻故事感。

• 曠視電影模式算法：自動檢測識別入鏡主體，并基于單攝，搭配虛化背景和實時順滑的焦點變換，模擬電影鏡頭語言拍攝效果。
  

登錄/注冊后可看大圖

其他電影效果算法（雙攝）
https://www.zhihu.com/video/1538889438809128960

登錄/注冊后可看大圖

曠視電影模式算法（單攝）
https://www.zhihu.com/video/1538889575871459328
突破兩大核心技術難點 曠視手機電影走向深處

01 高精度語義分割

實現(xiàn)手機電影特效有2個技術難點，其中就視頻人像特效而言，主要是高精度語義分割，一張圖像可視作許多像素的集合，語義分割( Semantic Segmentation )就是把圖像中的每一個像素都分類到語義可解釋的類別中，“語義的可解釋性”指分類標簽在真實世界中是有意義的，例如人物、自行車、地板等。語義分割任務對于分類精度以及定位精度都提出了高標準的要求: 準確定位物體的輪廓邊界并對輪廓內的區(qū)域進行精準分類。如此才能將特定物體從背景中更清晰的分割出來。
正如之前我們科普過視頻光斑特效的技術實現(xiàn)方式，如果把語義分割看作是美食原材料，那么輔以各種風味的調味后，即不同的渲染手法，便能實現(xiàn)與眾不同的各類美味佳肴。
02 精準的單攝深度估計

想要模擬出電影大熒幕里的不同焦點切換、跟焦、虛化等效果，手機解決方案的路徑各有各的不同。在這條探索路上，有人選擇了雙攝，利用兩顆攝像頭解決視差，讓視頻自帶模擬景深，從而實現(xiàn)平滑變焦和虛化、物體追蹤。不過，曠視則選了更為獨特的一條路，單攝，即一顆攝像頭便能實現(xiàn)這些操作。
一顆攝像頭，如何實現(xiàn)這些復雜要求？答案則是通過精準的單攝深度估計，并實現(xiàn)自然虛化效果。深度估計是指通過像素點估算出畫面中物體的遠近。與雙攝深度估計不同，單攝深度估計不需要雙目相機和極線矯正，在功耗和耗時毫不遜色的前提下，流程簡單且成本低，已成為手機上深度估計算法的首選。憑借單攝深度估計配合圖像模糊算法和光斑，普通手機就可以獲得實時并且媲美單反相機的真實虛化背景效果。
曠視的單攝虛化算法使用神經(jīng)網(wǎng)絡模型，可快速準確地計算出深度信息，深度過渡平滑、漸變效果真實，可形成主體更突出、過渡更自然的圖像虛化效果。
隨著技術的不斷創(chuàng)新，曠視用AI算法為影像表達創(chuàng)造了更多有趣的方式，手機雖然不能完全替代相機，但是卻可以擁有其更獨特的玩法，給用戶帶來不一樣的創(chuàng)作靈感，讓每個人都能成為生活的導演，體驗手機帶來的影像樂趣。在不斷拓寬計算攝影應用邊界的道路上，曠視始終在突破創(chuàng)新，創(chuàng)造更多關于 AI 的浪漫。
延展閱讀


-----------------------------