機器之心報道
編輯：澤南、小舟
這是 B 站 AI 實驗室的最新成果。
喜歡看動漫的人經常會被一些經典作品的情節所吸引，不過畫面質量是欣賞下去的大敵 —— 那些超過十年曆史的內容自不必說，直到現在，很多動畫的實際解析度也只是 720p 左右，然後被拉伸到 1080i 以滿足電視臺播放的需求，BD（藍光）清晰度也只有 1080p。
究其原因，還是成本問題：在動畫製作過程中，讓解析度提升一個級別，就會導致所有的製作資源大幅提升，從作畫、掃描到處理和儲存，整個產業鏈條都需要軟硬體的提升。
但今天即使是手機也有個 2K 的解析度，既然手繪動畫難以提升解析度，那麼能不能用 AI 演算法來解決這個問題？
最近，GitHub 上一個影象超解析度的專案火了，一個叫做 Real-CUGAN 的工具可以把動畫影象的質量提升 2 到 4 倍，qq 上鬥圖的表情包也能給你腦補成 4k 品質。
仔細一看，這個專案來自 bilibili 人工智慧實驗室。上線 20 天，star 量已達 1.5K。
專案連結：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
據作者介紹，Real-CUGAN 是一個使用百萬級動漫資料進行訓練的，結構與 Waifu2x 相容的通用動漫影象超解析度模型。相比目前市面上已有的通用化超解析度演算法，Real-CUGAN 的 AI 模型經過了更大體量資料集的訓練，處理二次元內容的效果更佳。
它支援 2x\3x\4x 倍超解析度，其中 2 倍模型支援 4 種降噪強度與保守修復，3 倍 / 4 倍模型支援 2 種降噪強度與保守修復。
Real-CUGAN 全稱為 Real Cascaded-U-Net-style Generative Adversarial Networks（真實的、級聯 U-Net 風格的生成對抗網路），使用了與 Waifu2x 相同的動漫網路結構，但因為使用了新的訓練資料與訓練方法，從而形成了不同的引數。
具體來說，該動漫超分模型訓練先行對動漫幀進行切塊處理，使用影象質量打分模型對候選塊進行打分過濾，得到一個百萬級的高質量動漫影象塊訓練集。然後使用多階段降質演算法，將高畫質影象塊降取樣得到低質影象，讓 AI 模型學習、最佳化從低質影象到高質影象的重建過程，訓練完畢後即可對真實的二次元低質影象進行高畫質化處理。
在 GitHub 專案中，作者開源了推理階段的模型引數與推理程式碼。
下面，我們來看一下 Real-CUGAN 的修復效果。
圖源：https://github.com/bilibili/ailab/tree/main/Real-CUGAN
為了進一步檢視幾種修復方法的差距，研究團隊將 Real-CUGAN 的修復效果和 Waifu2x、RealESRGAN 進行比較。
下圖是動漫《偵探已死》中的畫面，其中幾種方法對沙發紋理的修復差距顯著。可以看到，在 Real-CUGAN 的修復結果中，沙發上的橫向條紋清晰可見，並且幾乎沒有中斷的部分：
在動漫中，人物清晰的線條對角色形象的塑造具有重要的作用。線條模糊會嚴重影響觀看體驗。以下圖為例，Real-CUGAN 清晰地修復了動漫中角色的表情線條：
當然，有些場景並非越清晰越好，比如畫面中的一些遠景，原本就是刻意虛化的。以下圖為例，Real-CUGAN 修復之後，近景處的人物形象變得更清晰，遠處的蠟燭仍然保持模糊，使得畫面更有層次感。
還有一些動漫由於年代久遠，受當時技術條件的限制，畫質著實「感人」。例如許多人的童年回憶《黑貓警長》，先前的模型 RealESRGAN（下圖第三列）已獲得了不錯的修復效果。相比之下 Real-CUGAN（下圖第四列）更好地修復了一些雜線、模糊的問題，讓畫面更加乾淨清晰。
更為重要的是這項技術想要用很簡單：你下載的模型已訓練好，修改 config.py 配置引數，雙擊 go.bat 執行即可。Real-CUGAN 不僅可用 cuda 加速，也支援 AMD 系列的顯示卡，處理速度還很快，膝上型電腦也可以跑得起來。
雖然 Real-CUGAN 預設是隻處理靜態圖片的，但很多人已嘗試把影片拆解成單幀序列進行處理。如此一來，很多上古老番都能自己上手讓它們煥然一新了。
目前 B 站上已經有人上傳了一些使用新技術處理過的影片，比如這個在 1080p BD 基礎上超分到 4K 的： https://b23.tv/gyB517B
在很多電影修復之後，老番高畫質計劃也已在路上。B 站表示，將針對不同品類適配不同的超分演算法，並且使用窄帶高畫質演算法降低卡頓，提高流暢度。
參考內容：
https://www.bilibili.com/read/cv15031073
