作者｜洪雨晗
今年秋季密集的手機發佈會告一段落，恐怕局外人也看出了手機的影像實力已成為手機行業“內卷”的焦點。連一向在手機影像功能上宣傳較少的蘋果，也在iPhone 13背面植入兩顆超大攝像頭，並稱新款iPhone“是我們迄今最具創新的攝像更新。”
不管是外部環境的變化還是手機內部硬體的要求，都驅使著手機廠商們鍾情於升級手機的影像實力。
在外部需求端上，據統計，手機拍攝功能已成為中國消費者最關注的手機要素，而以Instagram、小紅書為首的線上圖片社交平臺的火爆，則帶動了更多人加入隨時隨地拍照的行列，這都對手機的影像功能提出了更高的要求。
在手機的內部硬體端上，手機的處理器和螢幕幾乎都被高通和三星包攬，唯一能動刀的手機的鏡頭模組也因物理尺寸的限制，難以在有限的手機可利用空間內展開身手。
當手機硬體堆料受上述各原因限制，給手機影像能力帶來的提升越來越小時，各廠商要突破硬體限制，做出成像的差異化，計算攝影 (computational photography) 成為其競爭的焦點：透過AI最佳化影像演算法，讓使用者輕鬆獲得一張質量不錯的照片。
用計算攝影解決“疑難雜症”
如今，強大的手機拍照技術既離不開效能優異的硬體，也離不開迅猛發展的影象處理演算法，在硬體短時間難以打出差異化的現實條件下，從谷歌Pixel開始，押注AI演算法助力手機影像能力的提升基本上已經成為了手機行業的常態。因此，在計算攝影市場規模不斷擴大的同時，計算攝影的演算法水平也越來越重要，競爭越來越激烈。
計算攝影，簡而言之就是使得手機生成的照片不再僅僅依賴影象感測器和拍照者的專業攝影知識，而是將手機硬體與軟體相結合，讓AI演算法以及處理器算力加入到手機攝影中來。基於這樣的理念，人工智慧企業曠視提出了“AI重新定義光感知系統”。
以往的“光+感+知”系統獨立最佳化，先聚焦在硬體升級，然後再以演算法輔助、最佳化後期處理等運作方式相對流程化，如今，“光 x 感 x 知”光感知系統協同配合，軟硬協同升級，實現光感知系統全流程的能力提升。這意味著整個手機影像系統資料處理規模以及資源排程能力增強，能支援更廣泛的應用場景。
目前，曠視已為多款主流安卓智慧手機提供一系列計算攝影解決方案，其中，包括超畫質、降噪和影象增強等在內的技術，已在當今的智慧手機中廣泛應用。
超畫質是一個很大的概念，不僅包括景物原有的細節紋理還原，還有著提高畫面亮度、對比度以及色彩、層次感等功能，簡單來說，就是讓手機最後生成出來的圖片更“完美”。如果要從硬體上達到這一標準，鏡頭和感光元器件都需要足夠的尺寸，這對不少專業單反相機來說都是難以完成的目標。
曠視則透過AI來對高畫質數碼相機的成像特性進行學習，還原拍攝場景原有的細節紋理，使畫面品質得到整體提升。
降噪一直是攝影圈的一個難點，對單反攝影愛好者來說，想要拍攝一張噪點少、成像好的照片需要在單反感光度、曝光時間上尋找一個平衡，這也通常會導致在光線條件不足的情況下一些轉瞬即逝的瞬間難以被抓住。
為解決噪點的問題，傳統的解決方案是，分別拍一張長曝光圖片和短曝光圖片，然後在後期軟體上進行合成。如今的AI降噪，會在演算法降噪的基礎上，再自動拍攝數張長短曝光的照片進行合成，快速生成圖片，免去了人工在後期軟體上合成的步驟。
AI演算法降噪的原理是對自然光譜進行學習並總結特性，對相機感測器所捕捉的訊號進行分辨，哪些是噪聲，哪些是成像需要的訊號，最後把需要的部分還原，把噪聲的部分去掉，最大程度地保留細節同時提升信噪比，這樣能讓畫質提升的同時，細節也能夠清晰的表現出來。
攝影師通常喜歡用大光圈拍人像，這樣可以虛化背景中雜亂的場景，讓拍攝的主體更加突出。過去，手機受限於單個鏡頭中的光圈大小難以拍出自然的虛化效果，即便有演算法的幫忙也經常被使用者吐槽為“摳圖+貼上”。
影象增強技術不像專業相機的光學景深效果，而是利用手機雙攝和AI演算法來進行虛化。隨著手機多個攝像頭的出現以及AI演算法的進步，曠視透過不同攝像頭之間的間距，利用演算法計算出深度影象，進而形成可以媲美專業相機大光圈效果的影象。
AI演算法在多攝時代大顯身手
歸功於AI演算法與手機硬體系統的協同進化，AI演算法在手機廠商的影像“內卷”中扮演的角色也愈加重要。根據艾瑞諮詢近期釋出的《2020中國人工智慧手機白皮書》資料顯示，截至2019年，AI拍攝演算法在國內不同價位安卓手機中覆蓋率達已經到91.6%，在AI+光感知手機演算法領域，以曠視為代表的頭部企業份額佔比接近80%。
人工智慧企業能在手機影像領域立足，其中一部分原因也是AI演算法迎來了手機多攝像頭的時代。如今，即使是對手機影像功能最不敏感的使用者，也能明顯感覺到手機背後的攝像頭明顯變多了，主攝、廣角、超廣角、長焦、潛望式、微距、ToF……雙攝已落伍、三個勉勉強強、四個、五個也不嫌多。
手機廠商們熱衷於增加攝像頭的背後，並不是簡單的營銷和噱頭，除了近年來多攝技術的穩步發展，還有一部分原因在於AI演算法為手機多攝提供了跨越式發展的契機，AI演算法已逐漸成為攝像頭之間聯動的紐帶，在AI的驅動下攝像頭之間的聯動可以形成“1+1大於2”的效果。
具體來說，手機後置攝像頭數量和類別的不斷增加，對AI演算法意味著光線、景深、畫素等多種可收集型別資料感測器的增多。有些感測器鏡頭對色彩更敏感，有些捕捉紋理效果較好，有些則在運動焦點的追逐中效果最好。在AI演算法與多個攝像頭的協調配合下，透過雙攝變焦實現多種感測器之間的強強聯合獲得最佳拍攝效果，如，利用雙攝虛化實現媲美單反相機的光圈效果、多攝融合有效提升圖片質量等。
多個攝像頭雖然使得AI演算法能收集到的資料型別和資料資訊更加豐富，但同時也帶來了系列演算法和算力的技術難點，如何在手機有限的算力以及電量限制的情況下儘可能達到成像的完美，這對AI演算法本身也提出了不低的要求。
例如，當手機利用不同焦段的鏡頭來實現數碼變焦功能時，多個攝像頭的切換需要使用到“平滑縮放演算法”，該演算法的質量高低將決定手機應用變焦功能時各焦段畫面“接縫”的順滑程度，越好的演算法將使得這種過渡更加自然。
基於多年的技術積累和專案工程落地經驗，曠視的雙攝虛化、多攝平滑變焦、多攝融合等演算法均具有很強的泛用性，可適配多種模組組合和排布方式。以多攝融合為例，曠視的多攝融合演算法採用神經網路設計模型，可有效解決清晰度不均勻、主體邊緣線條彎曲、部分位置重影、線條斷裂錯位、重複紋理錯位等傳統多攝融合演算法中的常見問題。
AI演算法在手機影像中扮演的角色日益重要，並不意味著AI演算法在未來將取代硬體，而是AI與硬體的協同互動。曠視研究院研究員範浩強在近日的曠視MegTech Lite漫談AI技術分享會上表示：“手機的整體影像能力提升不是僅依靠鏡頭多和畫素高就可以實現，最重要還是成像系統各個要素間的協同。”
手機的成像過程本質是“光電算”一體化的過程，即從光學感知到電子訊號傳遞最後還原成影象的過程。AI演算法在其中扮演的角色不僅僅是在最後一步進行最佳化，而是在一開始時就加入到光和電的協同配合中來。
使用者是拍攝風景還是人像，是拍攝星空還是運動中的細節，AI會在一開始便判斷需要調動的不同鏡頭組合，來實現使用者想要的拍攝效果。例如，當用戶選擇風光模式時，AI演算法便已將主攝像頭和廣角攝像頭調動起來；當用戶選擇人像模式時，AI演算法便會調動主攝像頭和人物細節解析力更好的黑白攝像頭結合起來，在雙攝像頭模擬大光圈效果的同時獲得更優的人像表現能力。
未來的手機拍攝，將會向著利用AI技術，理解使用者意圖，利用演算法自動調配攝像頭，完美捕捉到使用者想要拍攝的畫面，從“所見即所得”到“所想即所得”，生成出傳統專業相機無法拍攝出來的圖片效果。
當然，除了AI演算法之外，更美好的影像世界的實現也依賴於未來更多新形態感測器的發明。如今，AI計算攝影不僅在推動更多感測器解決方案的出現，也在硬體之外開啟了手機影像的“下半場”。
來源： PingWest品玩
