|
這個問題其實(shí)挺好的,展開來有不少東西可以講。
這個答案會比較硬核,超過 5200 字,包括以下幾個章節(jié):
手機(jī)攝影發(fā)展史手機(jī)攝影的局限性和極限攝影系統(tǒng)論:手機(jī) vs 相機(jī)營銷與事實(shí)彩蛋:750D + 超廣裁切到 800 萬像素對華為 P30Pro(待更)
手機(jī)攝影發(fā)展史
在消費(fèi)者需求的共同推動下,近年來手機(jī)攝影模組主要朝著以下幾個方向發(fā)展:多攝化、計算攝影化、多主攝化。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-1.jpg (150.98 KB, 下載次數(shù): 6)
下載附件
2021-5-10 10:46 上傳
HOYA 光學(xué)變焦模組
2015 年,采用 HOYA 光學(xué)變焦模組的華碩 ZenFone ZOOM 上市,搭載 1/3" CMOS,等效 28-84mm 的 f/2.7-4.8(等效約 f/21-39) 模組,不過并沒有受到市場的好評。
受制于厚度,手機(jī)里能放下的真光學(xué)變焦模組的規(guī)格非常受限,采用潛望式結(jié)構(gòu)的 CMOS 尺寸也很難做大。
拓展手機(jī)攝影系統(tǒng)的能力不能靠傳統(tǒng)的光學(xué)變焦道路,而要靠多個定焦攝像頭 + 數(shù)碼變焦來實(shí)現(xiàn)。
手機(jī)多攝模組的發(fā)展經(jīng)歷了以下幾個階段:探索階段 - 高速發(fā)展階段 - 優(yōu)化階段
起初市場上出現(xiàn)了對多攝系統(tǒng)的探索,比如 HTC 的 G17 3D 雙攝、HTC M8 的景深雙攝、華為的彩色 + 黑白雙攝,但雙攝真正走向大范圍實(shí)用化還是要屬 iPhone 7 Plus 上搭載的廣角 + 中焦雙攝,這指出了多攝系統(tǒng)正確的發(fā)展方向:用于拓展手機(jī)影像系統(tǒng)的視角。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-2.jpg (164.31 KB, 下載次數(shù): 7)
下載附件
2021-5-10 10:46 上傳
小米 10 Pro 的四攝像頭模組
隨后大家就看到多攝系統(tǒng)遍地開花,多攝手機(jī)進(jìn)入高速發(fā)展。
現(xiàn)在我們看到的主流多攝系統(tǒng)其實(shí)都走在拓展視角這個道路上,由廣角 + 中焦逐步發(fā)展到現(xiàn)在的超廣角 + 廣角 + 中焦/中長焦(可選)方案,此外部分廠商還在這個基礎(chǔ)上加入了 ToF 攝像頭,微距鏡頭(也有把微距功能集成到其它攝像頭里的)等。
手機(jī)一直都是計算攝影應(yīng)用的前鋒,小尺寸高速 CMOS 搭配尚可的算力以及完善、相對開放的圖像處理管線使得手機(jī)成為了計算攝影(computational photography)的極佳試驗(yàn)田。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-3.jpg (51.89 KB, 下載次數(shù): 10)
下載附件
2021-5-10 10:46 上傳
大多數(shù)人第一次接觸到計算攝影應(yīng)該是在 iPhone 4 上的 HDR 功能以及 iPhone 4S 的全景功能,這兩個今天司空見慣的功能在當(dāng)年可以說是不亞于魔法的存在。
不過說到計算攝影在手機(jī)上的最大推手,還是要數(shù) Google,Google 在這方面的貢獻(xiàn)堪稱十年磨一劍。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-4.jpg (37.28 KB, 下載次數(shù): 6)
下載附件
2021-5-10 10:46 上傳
FCam
iPhone 4 發(fā)布的同一年,WWDC 會場半個小時車程外的斯坦福大學(xué)里一個團(tuán)隊造出了這個黑盒子——FrankenCam,F(xiàn)Cam,得名于《科學(xué)怪人》里被科學(xué)賦予生命的怪物,這個平臺由各種一個小尺寸 CMOS、一個計算機(jī)、一枚單反鏡頭組合起來,擁有開放、可定義且基于 C++ 的 API,使用 Linux 系統(tǒng),可以在毫秒級時間內(nèi)對硬件進(jìn)行控制。
這一團(tuán)隊后來去了 Google,領(lǐng)導(dǎo) Android 相機(jī)框架團(tuán)隊的研發(fā)。
2014 年,Google 在 I/O 大會上發(fā)布了 Android L,Android L 帶來了許多重磅功能,比如全新的 Material Design 設(shè)計、ART 編譯器以及一個全新的 API,它被稱為 Camera 2 API2,而對應(yīng)的硬件抽象層則被稱為 Hardware Abstraction Layer v3(HAL3),你現(xiàn)在看到的所有 Android 手機(jī)上流光快門、超級夜景模式、RAW 域處理一類的功能,都需要基于 Camera 2 API2。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-5.jpg (46.84 KB, 下載次數(shù): 5)
下載附件
2021-5-10 10:46 上傳
2016 年 SIGGRAPH 會議上,Google 發(fā)表的《用于移動相機(jī)的高動態(tài)范圍以及低照度環(huán)境下的連拍攝影成像》一文創(chuàng)新性地提出了一種新的基于單曝光的 HDR 實(shí)現(xiàn)。
隨后幾年中 Google 還放出了更多的技術(shù)細(xì)節(jié),比如如何用機(jī)器學(xué)習(xí)訓(xùn)練曝光、白平衡和自動對焦(3As)。
之后就是你們能看到各種模仿這個思路的實(shí)現(xiàn)了,然后就是堆硬件拼曝光時間的一眾刷夜拍成績進(jìn)行宣傳的國產(chǎn)手機(jī)了,思路上并沒有什么創(chuàng)新。
Pixel 3 上的 OIS 組件能以 sub-pixel 的精度同時補(bǔ)償手抖并獲取更多的顏色信息,為此我們獲得了可以媲美 2x 定焦鏡頭效果的單攝 SuperRes Zoom,Pixel 4 加入 2x 中焦攝像頭配合 SuperRes Zoom 則進(jìn)一步提升了可用數(shù)碼變焦倍率。
Live HDR+ 通過對取景器 YUV 流進(jìn)行 AI 處理來獲得所見即所得的 HDR+ 效果,同時加入了兩個影調(diào)調(diào)整控件,讓用戶能實(shí)時改變手機(jī)的 tone mapping 策略。
iPhone 則探索了另一種多幀曝光的策略,Deep Fusion 的思路是通過 8 張較短曝光和 1 張略長的曝光的照片來合成最終輸出的 2400 萬像素圖像,然后用夜景模式 + Deep Fusion + Smart HDR 接力負(fù)責(zé)不同亮度下曝光的也挺有趣的。此外就是 iPhone 11 系列上的平滑變焦了,這一功能在今年的旗艦手機(jī)里也會成為標(biāo)配。
最后一個要說的潮流比較新,多主攝,這個是在前兩個的基礎(chǔ)上進(jìn)一步挖手機(jī)攝影的畫質(zhì),既然大 CMOS 是快樂的,那有好幾個大的 CMOS 豈不是好幾倍的快樂?
Mate 30 Pro 和 OPPO Find X2 Pro 用了超廣角 + 廣角的雙主攝,小米 10 Pro 則是廣角 + 中焦的雙主攝,三星 S20 系列則是用雙廣角主攝配合算法來提供更好的數(shù)碼變焦。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-6.jpg (39.29 KB, 下載次數(shù): 7)
下載附件
2021-5-10 10:46 上傳
三星 S20 Ultra
至于機(jī)皇中的機(jī)皇 S20 Ultra 可以說是三主攝,超廣角、廣角、潛望式鏡頭都采用了很大尺寸的 CMOS。
手機(jī)攝影的局限性和極限
然而,再厲害的算法也好,在拍照的時候也是要遵守物理的基本原則。
首先,受制于手機(jī)的體積,手機(jī)的攝像頭模組尺寸無法無限增大,目前看起來 1 英寸會是一個比較好的點(diǎn),滿打滿算,把所有的攝像頭都堆上 1 英寸 CMOS,那它也就是一個 1 英寸底的相機(jī)。
其實(shí) S20 Ultra 的攝像頭突起已經(jīng)非??鋸埩耍@才用了 1/1.33" 和 1/2"(豎立),能在手機(jī)里塞進(jìn)去好幾個 1 英寸是非常樂觀的估計。
接下來說計算攝影,計算攝影的本質(zhì)是堆棧,即使用多張圖片堆疊來提高畫質(zhì),比如說超級夜景的本質(zhì)是通過堆棧改善信噪比,超分辨率算法也是通過堆棧來改善解析力。
在一個理想的攝影系統(tǒng)中,只考慮散粒噪聲。
當(dāng)噪聲為散粒噪聲時,想將信噪比提升 N 檔,需要堆棧的圖片張數(shù)為2^2N,因此如果想要提升 2 檔,需要堆棧 16 張,3 檔就需要 64 張,而 4 檔就需要 256 張了。堆棧張數(shù)的增加所給予的回報是越來越少的,可以說超過 2 檔以后就失去了實(shí)用意義,這也是目前絕大多數(shù)手機(jī)廠商止步的地方。 而且,隨著堆棧張數(shù)的指數(shù)級增加,算力需求、曝光總時間的需求也是指數(shù)級的,因此堆棧并不能無限制地提高畫質(zhì)。此外,堆棧對于三個東西是無能為力的,一個是 FPN/PRNU/DSNU/HN 這些非散粒噪聲,另一個是光學(xué)系統(tǒng)本身的欠采樣,還有一個就是移動物體。
由于成本和體積的限制,目前手機(jī)鏡頭幾乎都是樹脂鏡頭 + 扭曲非球面的設(shè)計,遇到高頻信息就暴死,各種像差控制約等于不存在,抗眩光能力四舍五入等于沒有。
而由于手機(jī)孱弱的 ISP(別笑,ISP 真的很弱),面對動態(tài)題材手機(jī)兩腿一蹬嗝屁——ISP 太弱追不上焦,追上了多張堆棧發(fā)現(xiàn)主體跑了,沒信息可以用來堆棧啊,robust merge 都救不回來。
這就是手機(jī)這個體積里能做到的畫質(zhì)的極限:面對靜態(tài)物體達(dá)到一英寸的基礎(chǔ)上再加 2 檔左右的信噪比增益,面對動態(tài)物體達(dá)到接近一英寸相機(jī)的畫質(zhì)。
但實(shí)際上有可能嗎?做出這樣一臺手機(jī)得賣多少錢,對吧?再算上鏡頭的 debuff,實(shí)際上能做到接近一寸底的機(jī)器的水平就不錯了。
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-7.jpg (1011.73 KB, 下載次數(shù): 9)
下載附件
2021-5-10 10:46 上傳
新加坡 CBD
幾年前,夜景模式一類的東西還不太流行的時候,我就用手機(jī)一百張左右的 RAW 照片(理論上提供 3 檔左右的 SNR 增益)并后期堆棧出了一組夜景照片,同時還應(yīng)用了一些超分辨率的方法,我不客氣地說,我覺得近幾年里你拿著任何一臺手機(jī)去這個地方拍,都不會比這張照片畫質(zhì)更好了。
如何做到手機(jī)攝影的極致,或者你有哪些自認(rèn)為是手機(jī)攝影極致的照片?所有覺得算法萬能的人,要么是蠢,要么是壞,要么是又蠢又壞。
手機(jī)的光學(xué)采樣能力擺在那里,堆棧算法的邊際效應(yīng)遞減擺在那里,算力極限也擺在那里,那么未來幾年再怎么發(fā)展它就是那樣子。
攝影系統(tǒng)論:手機(jī) vs 相機(jī)
手機(jī)和相機(jī)本質(zhì)是兩個非常不同的系統(tǒng),盡管它們都能拍照,但面對的人群其實(shí)是很不一樣的。
思考一下攝影的整個流程,你可以把它劃分為:場景光照 - 光學(xué) - 傳感器 - 后期處理 - 獲得圖像 - 進(jìn)行分發(fā),這樣的幾個階段。
手機(jī)是一個高集成的系統(tǒng),All in one,一條龍,提供了從光學(xué)到傳感器到后期處理到獲得圖像到進(jìn)行分發(fā)(一般是社交媒體的傳播)的所有功能,但每個環(huán)節(jié)能提供的控制都是極其有限的,能力也是極其有限的。
手機(jī)對場景光照控制能力幾乎沒有(那個閃光燈真的就是拍個亮)、光學(xué)模組素質(zhì)不高、傳感器尺寸受限、后期處理算力不夠,但是這些都不是問題,它滿足的是一個快捷、方便的記錄和分享需求。
而且我們說,媒介的特性決定媒介的呈現(xiàn),社交媒體是一個對圖像細(xì)節(jié)極不敏感的分發(fā)渠道。各種各樣的壓圖決定了圖片的色彩和影調(diào)會更加受重視,而非成像細(xì)節(jié)。
相機(jī)呢,則只是這個鏈條里很小的一個部分,但是它可以擴(kuò)展成一個極大的系統(tǒng)。
布光系統(tǒng)要多少有多少嘛,鏡頭群要多少有多少嘛,采樣能力暴打手機(jī)上那些 QuadBayer EnneaBayer HexadecaBayer 的弟弟……
拿手機(jī)的處理能力和相機(jī)里面那塊 SoC 比也是不對的,如果光比較 ISP 的性能的話,相機(jī)上的外掛 ASIC 或者 FPGA 比手機(jī)上的那一點(diǎn)點(diǎn)所謂 ISP 不知道強(qiáng)到哪里去了,具體的表現(xiàn)就是相機(jī)的 3A(AWB、AE、AF)性能極其強(qiáng)勁且可靠,而手機(jī)那個等效 f/8-11 的景深拍個貓貓狗狗還能整天跟丟焦,和手機(jī)上負(fù)責(zé)堆棧的那部分算力對比的應(yīng)該是各位攝影師手里的工作站里面的 CPU。
很多人以為的手機(jī)對比相機(jī)是這樣子的:
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-8.jpg (128.46 KB, 下載次數(shù): 5)
下載附件
2021-5-10 10:46 上傳
但其實(shí)它是這樣子的:
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-9.jpg (136.97 KB, 下載次數(shù): 6)
下載附件
2021-5-10 10:46 上傳
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-10.jpg (74.47 KB, 下載次數(shù): 6)
下載附件
2021-5-10 10:46 上傳
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-11.jpg (95.48 KB, 下載次數(shù): 8)
下載附件
2021-5-10 10:46 上傳
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-12.jpg (69.02 KB, 下載次數(shù): 7)
下載附件
2021-5-10 10:46 上傳
很多專業(yè)攝影師最后的作品是要進(jìn)行輸出、拿到現(xiàn)實(shí)里來看的,在這種媒介上,所有的 artifact 都會被放大放大再放大,每一根毛都看得清清楚楚。
所以這倆面對的人群根本就不一樣,你拿最新的手機(jī)去問一個攝影師能不能超過他手上的器材,他都不會正眼看你一眼。
但為什么現(xiàn)在網(wǎng)上會有這么多的爭吵呢?主要是兩個原因,一個就是在某些特定情況下,兩者的流程出現(xiàn)了重疊,因此會被作比較,第二個就是營銷的作用。
什么時候兩者會出現(xiàn)重疊呢?那就是對于剛?cè)腴T的、預(yù)算不是很高的攝影愛好者,比如選購入門級單反 + 套頭或者卡片機(jī)這樣的愛好者。
這個時候它需要面對的情況是:對光線的掌控能力同樣欠缺、光學(xué)和傳感器能力有提升,但如果不學(xué)習(xí)后期技巧,這個硬件上畫質(zhì)的提升可能就落在手機(jī)自帶的算法可以掩蓋、彌補(bǔ)的范圍內(nèi)。
所以未來幾年手機(jī)肯定是會繼續(xù)吃掉中低端卡片機(jī)的市場,只有提供更強(qiáng)等效焦距規(guī)格、或者主打一些特殊場景拍攝(比如帶翻轉(zhuǎn)屏的 vlog 機(jī)器)的卡片機(jī)會留存下來,當(dāng)然我們也希望看到更多相機(jī)廠商把計算攝影和更方便的圖片互傳應(yīng)用到這類機(jī)器上去。
相機(jī)市場體積肯定也會繼續(xù)縮小,變成一個更加 niche 的市場,但真正的攝影愛好者和專業(yè)攝影師是不會受到?jīng)_擊的。
營銷與事實(shí)
手機(jī)攝影的進(jìn)步是實(shí)實(shí)在在的,大家作為影像愛好者,這臺永遠(yuǎn)在身邊拿起來就能拍的機(jī)器畫質(zhì)有進(jìn)步,當(dāng)然也會很開心。
但是要想和專業(yè)器材抬杠?用越前龍馬的一句臺詞:
為什么部分?jǐn)z影師不肯承認(rèn)手機(jī)攝影能力的進(jìn)步?-13.jpg (26.95 KB, 下載次數(shù): 7)
下載附件
2021-5-10 10:46 上傳
NOT EVEN CLOSE.
此外還有一些令人反感的純粹就是營銷手段:
明明就是多枚光學(xué)定焦 + 數(shù)碼變焦補(bǔ)焦段,一定要叫混合光學(xué)變焦。
明明就是多幀合成 + 數(shù)字增益,一定就要弄一個毫無意義的 ISO409600。
明明變焦超過一定范圍就糊成狗,一定就要弄一個 30x 60x 100x 的油畫變焦選項(xiàng)來宣傳。
明明等效快要 f/400 信噪比低到鬼都不認(rèn)識的,除了畫月亮拍什么都不行的“超長焦模式”一定要拿出來宣傳。
不是不承認(rèn)進(jìn)步,是有些宣傳吃相太難看,機(jī)器還是不錯的。
我沒有低估手機(jī)的性能,恰恰相反,我非常了解它現(xiàn)在能做什么、不能做什么,以及在可見的未來能做什么、不能做什么。
正因如此,我才不會對它抱有不切實(shí)際的期待,我知道它應(yīng)該是作為一個隨手拍的、記錄生活的工具,并且同樣可以拍出相當(dāng)不錯的照片,但我也知道,當(dāng)我要拍攝我自己的創(chuàng)作的時候,相機(jī)永遠(yuǎn)會是一個更好的選擇,而對應(yīng)地,我需要付出更多的時間和精力去進(jìn)行后期處理,我也需要投入更多的花費(fèi)。影像系統(tǒng)是一個妥協(xié)的藝術(shù),如果想在所有畫質(zhì)和體驗(yàn)方面都不妥協(xié)——那錢包估計就得妥協(xié)一下咯。
時代是進(jìn)步的,要用進(jìn)步的眼光去看事物的發(fā)展,但也要遵守客觀規(guī)律。
彩蛋:750D + 超廣裁切到 800 萬像素對華為 P30Pro(待更)
如果這個回答引發(fā)的關(guān)注足夠多我可以給大家安排一下。 |
|