寫在前面
他在深度學習爆炸的年代，冷靜判斷趨勢，敢於投身主流研究領域之外的新興方向AutoML。他是業界最早提出可實用網路模型結構搜尋演算法的研究者之一，建立了國內第一代AutoML演算法，並在TPAMI、 CVPR、 NIPS、 ICLR、ICCV等頂級期刊會議發表了多篇論文。他執著地想做能work的research。
入職不到1年，他就帶領團隊把AutoML技術應用到數千萬臺華為手機上，做到了在業界第一次將AutoML大規模商用的突破。第二年，他又帶領團隊研發端到端畫素級AutoML流水線，成功將影片攝影原型演算法的複雜度降低百倍，再次突破業界與學術界的極限。
加繆說，登上頂峰的鬥爭足以充實一個人的心靈。在演算法領域向頂峰攀登的這些年，他有了一些自己的成績與想法心得。
以下是鍾釗的講述——
種下一顆種子，繁衍成一片森林
——立志做能work的research，撼動業界的技術革新
鍾釗/講述
黃穎玲/文
春天，萬物復甦，草長鶯飛。在田間地頭，在車水馬龍的城市裡，蜿蜒的溪流，巍峨的大山，到處充滿了春天生機盎然的氣息。春天，是播種希望的季節。
▲博士畢業照
在春天，種下一顆種子
那年還在讀本科的我，在實驗室裡做科研助理，第一次接觸到人工智慧演算法，就對這個領域很感興趣。大概那時候，我開始在心底埋下了一顆小小的種子。讀博期間，經過一段時間的學習和科研實踐以後，我發現做深度學習或者智慧演算法的過程中，多數工作是在一個現有的大框架下小修小改，而且看似精妙的人工智慧演算法，本質上還是統計學、資料科學等傳統科學的結合和再創造，並不像電影裡呈現出來的人工智慧會戰勝人類那樣的“聰明”。
當時還有人調侃：有多少AI工程師就有多少智慧，搞AI的都是調參俠。我懵懂的感覺侷限在完全靠人來做AI演算法這條路可能再走10年就走不通了。那時候剛好是AutoML（Automated Machine Learning）的“文藝復興”，特別是工業界認為，我們不能一直僅依靠人類專家的先驗知識做人工智慧，或許透過自動化演算法和強大的算力，我們能發現人類專家都無法想到的優秀演算法和模型。這個在當時與主流研究領域不那麼一致的新興方向AutoML——用演算法來設計算法，深深地吸引了我。
▲助教白博（左）鍾釗（中）導師李瑞華（右）
汲取養分，種子紮根生長了
2018年，我受邀去美國參加CVPR（IEEE Conference on Computer Vision and Pattern Recognition，即IEEE國際計算機視覺與模式識別會議）做千人主會場的ORAL（口頭的）會議報告。遇到華為的與會人，他們提到華為也正在佈局AutoML這個技術（2018年，AutoML技術逐漸進入試商用加速階段，工業界各大廠商紛紛開始佈局），希望我能加入一起合作。回國以後，華為的工作人員邀請我到北京研究所做交流，這就見到了現在的部門主管，還記得他給我描繪道：華為是有能力自己造AI晶片的，晶片都是 “沙子”做的，華為做AI的成本可以很低，你可以有無窮的算力和各式各樣的落地場景……這是當時最觸動我的，並讓我最終決定加入華為的原因。因為如果有足夠強的算力與平臺支援，以及眾多真實的業務場景來實踐驗證，我們從研究到應用再到創造價值就會更加暢順。
加入華為後，我專注在多媒體業務相關的研究創新，概括地說，就是用智慧技術構建媒體內容從生成、編碼、傳輸、處理、識別與分析、呈現等一系列過程中的核心競爭力，影象、影片、音訊、AR（Augmented Reality，增強現實）、VR（Virtual Reality，虛擬現實）等都是我現在的部門所涵蓋的範疇。我現在研究的智慧技術主體是AutoML，就是自動化機器學習，還包括新型運算元和動態網路等。簡單來講，AutoML就是用人工智慧的方式來寫AI演算法，用AI來設計AI。
目前業界大多數情況依然是演算法工程師自己來開發繁重複雜的AI演算法，對人的要求很高，我希望能透過AutoML這種人工智慧的方式來協助演算法工程師更好更高效地完成演算法，解放生產力，並且能比人類專家設計的還要好。隨著AutoML自動化程度越來越高，它就能在計算機上源源不斷地開發出更好的演算法。我做研究的目標很簡單，就是要在真實的業務裡——做能work的research（有用的研究），這也是我的長期願景。
向下扎到根，沐風櫛雨，終將破土而出
入職後不久，我們團隊就接到一個巨大的挑戰。手機拍照的競爭力一直是手機產品線關注的重點。由於手機上的光源器件很小，但是又需要它達到單反相機的效果，所以我們部門一直在努力研究如何用演算法來彌補光學的不足，實現手機拍照超越單反拍照的效果。
2019年，M手機決定要上線我們部門的一個重要的拍照演算法，但是當時M手機的拍照演算法包含了一個很大的AI模型，雖然拍照效果很好，但功耗、出圖速度一直不能達到產品交付標準，這嚴重影響了整個產品的交付進度。
當時我的導師，也是部門最頂級的專家提出讓我們AutoML團隊來解決這個難題，透過AutoML技術在保證拍照出圖效果的前提下，把演算法簡化下來，滿足產品功耗、速度等指標的要求。這是一個看似不可能完成的任務！關於功耗速度問題，之前已有好多演算法專家努力了很久，都沒有完全解決，我們可以嗎？還有AutoML這個技術雖然在學術界很火，但是還從來沒有在業界大規模商用過，我們可以嗎？我們團隊剛組建，大家都是新兵蛋子沒經驗，我們可以嗎？但是俗話說，箭在弦上，不得不發。在這麼關鍵的時刻，這麼重要的專案，部門能果斷讓我們上，是給我們機會，我們不能辜負信任，必須頂住壓力迎難而上。
也許只有真正向下扎到根，這顆種子才能經受住風雨洗禮，破土而出。這個任務是一個針對影象的畫素進行處理的任務，對演算法的精度要求非常高，與我們之前所做的影象分類、識別等任務完全不同。當時不僅學術界沒有任何公開的將AutoML應用在畫素級任務上的研究，更不用說是直接商用AutoML的樣例了。我們當時是跨過了學術研究，將基礎研究和商用落地同時進行，透過商用實戰使用AutoML這個最新技術，可以說是在一邊打仗一邊造武器。
作為AutoML研究組的leader，我必須帶領好大家完成這個挑戰目標。首先，我自己必須堅定必勝的信心。我大體判斷，現在情形下，我們面臨的硬體上的約束是非常苛刻的，在這種條件下，短時間內，人其實是很難做出判斷和突破的。但是用自動化演算法，即使是用最傻的方式把它“暴力”搜尋一遍，機器也有一定機率可以發現比人工設計更好的方案。另一方面，此時正是“天時地利人和”，“天時”是因為雖然AutoML是一個很新的熱門技術，但部門對這個技術高度重視，投入了大量資源；前期我們也和兄弟部門——媒體工程技術實驗室的同事們驗證了方向的可行性，為後續的研究打好了基礎；“地利”是指在過去的一年，我在華為實習期間已經積累了一定的AutoML演算法研究，並構建了基礎計算平臺雛形，這顆“種子”正待春暖花開時破土而出。“人和”就是我們團隊的小夥伴雖然都很年輕，但是都非常努力，而且專業能力也很強、很團結。透過以上種種，我非常有信心能幹成這件事！所以此時不上，更待何時？事實上，後來經過將近一個月的實踐，我們就從一些數值指標中看到了實實在在的成果和進步，大家的信心也越來越強了。這是一個循序漸進、良性迴圈的過程。
透過兩個月的拼搏，我們的攻關取得了顯著成效，一個近乎不可能的目標竟然這麼快就實現了！這個挑戰，是我們團隊接到的第一個攻關專案，我忘不了那段攻關的日子，大夥每天晚上都集中在一起復盤反思，雖然困難重重，但大家不停地在互相打氣，相信一定能成，最終它也就真的成了！2019年到2021年，我們的拍照演算法在M、P系列多款手機中不斷取得突破，可以說我們的AutoML這套系統或者說演算法都發揮了不可替代的作用。
我們團隊也真正做到了在業界第一次將AutoML大規模商用，把這個技術應用到數千萬臺華為手機上，極大地提升了使用者體驗。
▲團隊攻關成功後舉杯相慶
枝繁葉茂，生生不息
我相信社會在發展，人類在進步，技術的極限也可以不斷被突破。AutoML的研究和應用任重道遠，我和團隊的小夥伴們也在不斷接受新的挑戰。很快我們又接到了新的攻關任務——將影片攝影演算法的複雜度降低100倍，讓Demo的影片效果能真正在手機上實時地跑出來。
如果說之前M系列手機的問題是一個“看似不可能”完成的任務，那麼將Video做100倍的簡化，簡直就是“完全不可能”實現的挑戰！我接到這個任務的第一個反應就是：這實在是太難了，領導只會下任務，不考慮實際情況嘛。100倍，這不可能！業界學術界一般的壓縮加速類演算法只能做到2-3倍。如今既沒有理論基礎的保證，也沒有前人探索的積累，我們只能自己摸著石頭過河！
雖然當前看不到完成這個挑戰的可能，可是如果我們真的實現了這個提升目標，就可以讓使用者體驗到更驚豔的影片效果，我們的產品能更上一層樓。團隊成員這時也是士氣高漲，一鼓作氣簽下了軍令狀，堅定地表明瞭我們的決心！小夥伴們果斷開幹！我們整個團隊擰成一股繩，暫緩了其他探索性研究，都撲在了這個攻關任務上，但是進行了一段時間後，我們也依然沒看到一點起色。
“我們放棄吧，實在做不動了！”有的小夥伴已經有點灰心了。有小夥伴建議，先停一停，空出三個月時間，大家從理論、基礎研究、演算法上再好好想一想新的思路，也許過了一段時間，我們能開啟一些新的視角。當陷入困境一時找不到方向時，曲線救國也未必不是一個好的選擇。
三個月後，當小夥伴們帶著自己新的idea、demo回來，再次碰撞時，果然有了新的視角和突破。很快，我們構建了一整套全新的AutoML pipeline（pipeline：流水線），從資料生成開始到模型設計、訓練調參、壓縮量化，整個流程都由AutoML來驅動，端到端的每一模組都進行了最佳化，終於得到了極致效能和效果的模型。透過這一整套技術的處理，自動化設計出的模型比之前人設計的基礎模型小了100倍，但仍能達到不錯的成像效果！這個技術已經部分地應用在了最新的手機裡，並且會全量落到未來的終端旗艦產品中。
目前AutoML技術已成為部門的核心公共能力，也支援了影片、ARVR、河圖等眾多媒體的關鍵業務。同時我們也注重AutoML演算法和框架在公司內部開源，目前已經與 Cloud-EI 等部門合作共建，形成了公有云服務AutoSearch，幫助公司多個業務部門的演算法工程師提升演算法效力。現在AutoSearch已經成為雲上的第三大常用AI引擎，佔雲上總訓練任務的10%以上。
特別值得一提的是，前兩年，我們即使在業務非常繁忙的時候，仍然保持對動態網路和新運算元的基礎研究工作，這些研究成果部分發表後，也得到了學術界的認可。在基礎研究探索和解決實際問題工程實戰這兩個看似間隔很大的方向上，我們做到了“反覆橫跳”，這是我們實現能work的Research的必經之路。我不希望我們的探索和創新束之高閣，我希望親手將研究落地到產品中，真正給人類帶來價值。
在大自然殘酷的優勝劣汰的生存法則下，要讓一顆種子長成參天大樹，生生不息繁衍成一片森林，必將還要經受住更猛烈的暴風雨洗禮。實現AutoML的初步商用落地，這只是我們終極目標中的一個階段性目標，未來十年，隨著技術的迭代成熟，算力的進一步增長，我們希望AutoML能真正實現自動化，解放生產力，更長遠來看，我們希望AutoML能夠真正脫離專家干預，超越人類設計。這就是我想要做的能work的research！
▲團隊合影
對談
問：您是從什麼時候開始對這方面的研究產生興趣的呢？
答：我接觸電腦的時間非常早，大概97、98年左右，也就是在幼兒園、小學階段的時候，我就開始接觸電腦的遊戲和基礎程式設計。
問：這麼小就開始打遊戲，對你有什麼影響嗎？家裡是怎麼看待這件事情的呢？
答：小時候玩遊戲總會想著它背後是怎麼做出來的，為什麼我按鍵一下角色會跟著動？怎麼用程式語言實現簡單的功能？帶著這些想法其實就不會一味沉迷在遊戲裡，所以也不影響後來的學習發展。我的父親對我的影響非常大，父親從小對我的教育也是非常開放和寬容的，他對我打遊戲的觀念不是強制的阻止，而是控制時間並帶我瞭解遊戲軟體背後的程式碼和原理，我一直在父親的潛移默化中，慢慢清楚自己的興趣和特長。
問：可以說說父親是怎麼潛移默化影響自己成長的嗎？
答：我的父親是大學的老師，他應該是中國第一批接觸電腦的人。我父親是很早一批的北大學生，之前在中科院的高能物理所（原子能研究所）做研究，是錢三強何澤慧夫婦的學生，他最早是搞核物理研究，就是做兩彈一星，主要是氫彈的研究。他們需要用計算機來進行核物理相關的計算，後來又轉到計算機領域的研究了。父親平時工作中有些東西是我可以接觸到的，我還記去機房和辦公室找他，得穿鞋套來避免靜電。等我父親下班的過程我拿空閒的電腦玩小烏龜畫畫（LOGO語言），在DOS系統裡尋找大學生上課時偷偷安裝的新遊戲。所以我的興趣就是在父親的潛移默化中培養起來了。
問：你是從什麼時候開始想走科研這條道路的？
答：我從小學開始就有學程式設計，但是我一直沒有想過要走科研這條路。決定做科研，應該是大學以後。大一的時候我很想創業，想要去做一些移動網際網路很火的事情，像開發APP，希望能做成幾個專案，所以整個大一的時間幾乎都放在創業上。當時雖然做一個失敗一個，但社會環境和校園氛圍是非常鼓勵大家嘗試創業的，網際網路造富的神話也一個接著一個，同學們都想成為“扎克伯格”。後來家裡發生變故，我覺得不能繼續這樣下去了，我想要做一些能更長久、能留下去的事情，像research這類的硬科技，所以再後來就決定試一試科研這條路。我也走過一些彎路，但是現在我非常清楚自己想要做什麼，不做什麼，想要做的，我就會堅定地做下去。
問：你覺得成功的關鍵是什麼？
答：成功的關鍵就是要對準目標方向找到真實的問題。我們從一開始目標就很明確，就是要做有用的research，而不是為了創新而創新，我們不希望基礎研究完全脫離現實。
AutoML前兩年在學術界特別火，但是我們發現大家做了很多無用功。學術界的工作有時候看起來很好，但是沒法應用，可能是因為最開始大家對準的那個問題，只是自己幻想出來的並不真實存在的，所以更談不上應用了。甚至說，很多人都無法發現問題和目標在哪裡，只能在前人已有的工作上做一些incremental（增量）的工作，刷高了零點幾個點數值。我個人認為找到真實的問題和目標，才能做出創新有用的工作。我們在團隊建設初期就統一了理念：做能work的research！有了明確的目標和摸清真實的問題，團隊小夥伴就能形成合力，大家一起並肩朝著共同的方向努力去探索，最終就能取得成功。
本文來自《華為人》
鍾釗/講述
黃穎玲/文
轉載請註明作者及出處
