作者：姜煒文
編輯：好睏
【新智元導讀】近日，華裔教授姜煒文再獲量子計算革命性突破，在QuantumWeek上開源了首個量子神經網路設計棧，加速了神經網路在量子計算機上的發展。
神經網路是當下計算應用中發展最快，使用最廣的機器學習演算法。然而，隨著應用不斷複雜化導致網路結構不斷擴大，儲存效能瓶頸已逐漸凸顯。
在傳統計算平臺上，N個數字位元只能表示1個N位資料，然而在量子計算中，M個量子位元卻同時能表示2^M個數據，並能同時操作這些資料。
量子計算機如此強大的儲存與計算能力，使其擁有巨大潛能打破神經網路在傳統計算平臺上的效能瓶頸，獲取量子優勢。
量子神經網路是根據量子計算機的特性設計的神經網路。具體而言，研究者們根據量子計算機所提供的基本計算單元（即量子邏輯閘）進行量子線路設計，以實現神經網路的計算。
今年1月，美國喬治梅森大學姜煒文教授在《自然通訊》期刊，提出了是第一個神經網路/量子計算協同設計框架QuantumFlow。這也是其一年內，繼兩篇《自然電子》後的第三篇Nature子刊。
https://www.nature.com/articles/s41467-020-20729-5
該框架第一次展示了透過協同最佳化神經網路結構與量子線路設計，可以較傳統計算機獲得指數級加速。
圖1 基於QuatnumFlow量子神經網路設計棧
基於QuantumFlow，由姜教授帶領的JQub團隊在今年10月舉行的QuantumWeek’21和ESWEEK’21中，開源了QuantumFlow的量子神經網路程式設計框架，QFNN。
並在即將召開ICCAD’21，添加了兩個新成員：
（1）第一個對噪聲感知的量子神經網路訓練器QF-RobustNN；
（2）基於不同量子神經元設計的量子神經網路結構設計器QF-Mixer。
至此，第一個開源量子神經網路設計棧橫空出世，為量子神經網路應用提供了堅實基礎。
QFNN
在剛剛結束的QuantumWeek會議上，JQub團隊開源了由胡芷瑞研究員主要參與設計的量子神經網路（Quantum Neural Network）程式設計框架，QFNN。
https://github.com/JQub/qfnn
QFNN以Pytorch和IBM Qiskit為基礎，為實現了神經網路在量子電路進行訓練和推理提供了基礎函式。研究人員可以透過簡單呼叫少數函式，便可以輕鬆構建可以在IBM量子計算機上進行部署的針對神經網路推理的量子電路。
QFNN不僅支援QuantumFlow的所有功能，同時也支援其它量子神經網路設計，包括Variational Quantum Circuits（VQC）。
除此之外，QFNN還提供了量子神經網路電路相對應的經典計算模擬，可以用於驗證量子神經網路的正確性以及輔助量子計算機進行模型訓練。
圖2 QuantumFlow協同設計框架
在對QuantumFlow的支援上，QFNN採用與QuantumFlow中的結構相同。如圖2所示，該框架分為四個模組，包括qf_circ，qf_net，qf_fb和qf_map。
目前QFNN支援QuantumFlow中的所有模組，並在QF-Net中，加入了對VQC等量子電路的支援。
利用QFNN，研究者可以快速搭建量子機器學習電路，在經典計算機上對網路進行訓練，在量子平臺上進行推理。
同時，QFNN還支援量子網路結構的探索，即QF-Mixer。QFNN在github上進行開源，並歡迎有興趣者共同開發，加入更多的基礎量子神經元實現與量子神經網路實現。
QF-RubostNN
在即將於11月1日召開的ICCAD會議上，JQub團隊提出了首個透過訓練，在量子網路中學習量子位誤差的研究工作，即QF-RubostNN。
https://arxiv.org/pdf/2109.03430.pdf
該研究由梁之鼎博士生主要參與，提出了一個通用的訓練框架來進行錯誤感知學習，這個框架將解決部署神經網路到近期嘈雜的中級量子（NISQ）時期的核心問題：如何抵抗噪聲對神經網路推理的影響。
雖然量子計算發展非常迅速，但是目前量子位元在量子機器上的錯誤率會達到10^-2，和經典位元在經典的CMOS機器上大約10^-15的錯誤率對比無疑是個巨大的差距。
對此，JQub團隊設計了QF-RubostNN做出了第一個將噪聲學習到量子神經網路的嘗試，展示出了量子神經網路的容錯性：在量子模擬器和IBM量子機器上分別運行了QF-RubostNN，並極大地提升了量子神經網路的推理精確度。
圖3 QF-RubostNN產生的總體框架簡圖
QF-RobustNN最上層的訓練權重由量子神經網路，如QuantumFlow產生。在每次迴圈中的訓練權重會產生對應的量子線路，此時是在邏輯量子位上的邏輯量子線路，經過設計出的特定應用的量子對映，邏輯量子位被對映到物理量子位，由此便有了對應的物理量子線路。
再將物理量子線路執行在量子機器或者量子模擬器中，得到模型準確率的輸出，透過訓練框架找到在這時候的噪聲下表現最好的訓練權重，最後將搜尋到的訓練權重更新到最上層的訓練權重。
這種方法固定初始到結束的邏輯-物理量子對映的規律，使錯誤可以被預估，並且也可以有效減少附加門的數量，從而降低消耗。
圖4 QF-RobustNN在不同噪聲模型下，對準確率的測量結果
QF-RobustNN採用在0噪聲環境（perfect model）下表現最好的訓練權重當作實驗的Baseline，透過改變模型的Error rate（噪聲情況）觀察QF-RobustNN的實現。
在實驗結果中可以看到，經過QF-RobustNN的準確率相較baseline的情況有所提高，而且值得注意的是，隨著錯誤率增加，QF-RobustNN對準確率的推動作用更加明顯，最高達到了28%的效果。
該實驗展示了量子神經網路學習量子位錯誤的可能性，在NISQ時代的量子機器，噪聲是極大的問題與挑戰。實驗結果展示了QF-RobustNN的有效性。
QF-Mixer
QF-Mixer 是由汪哲鵬博士生主要參與，是第一個探索量子神經網路設計的文章。
https://arxiv.org/pdf/2109.03806.pdf
伴隨著量子神經網路 在近年來的蓬勃發展，一系列關於量子神經元 （quantum neuron）設計的工作開始湧現。
這些工作透過堆疊各自提出的量子神經元搭建量子神經網路，在簡單的機器學習任務中 （比如MNIST 2分類問題）可以取得較高的準確率。然而，當應用於更復雜的機器學習任務（比如MNIST 10分類問題）時，該類量子神經網路的準確率便會大打折扣。
基於這樣的現狀，QF-Mixer提出了要混合不同種類的現有的量子神經元來構建一個性能更高的異構量子神經網路。
圖5 混合量子神經元的挑戰與QF-Mixer設計理念
然而，搭建這樣的異構量子神經網路並非易事。
首先，不同的量子神經元對輸入和輸出的量子態 (quantum state) 有著不同的要求，任意地連線兩類神經元往往無法達到這些預設的要求。
其次，不同的神經元在計算上也有著不同的特性和邏輯，更高的準確率未必能透過混合不同神經元達到。只有找到合適的神經元組合，才能起到1+1>2的效果。
針對第一個問題，QF-Mixer 給出了一套在混合不同神經元需要遵循的準則，這為異構量子神經網路的設計提供了理論支援。
針對第二個問題，JQub團隊發現Quantumflow中的量子神經元和變分量子電路 (Variational Quantum Circuit)有著極為互補的特性。
一方面，Quantumflow中的量子神經元 (QF-量子神經元) 的可學習引數是二值化的，在表達能力上有著較大的限制。變分量子電路的可學習引數則為任意實數。因此，變分量子電路可以為QF-量子神經元提供更強的表示能力。
另一方面， 變分量子電路僅是一個線性分類器，QF-量子神經元則可以輕鬆地搭建起擁有多個非線性層的量子神經網路。QF-量子神經元可以幫助變分量子電路構建出更為複雜的模型。
基於上述觀察，QF-Mixer提出了QF-MixNN，一個混合了QF-量子神經元和變分量子電路的異構神經網路框架。QF-MixNN在遵循了QF-Mixer提出的混合準則的同時，也在不同的資料集上展現出了更高的準確率。
圖6 QF-Mixer在10類分類問題取得高精度
這一點在圖6中的表格中也得以體現。可以看到，在MNIST資料集上，QF-量子神經元構成的神經網路和變分量子電路均表現不佳，分別僅有52.77%和69.92%的準確率。
與此同時, QF-MixNN則有著想當亮眼的表現。它在MNIST上取得了超過90%的準確率。對比QF-量子神經元構成的神經網路和變分量子電路，準確率的提升分別為20.7% 和37.85%。
JQub團隊介紹
姜煒文助理教授於2021年加入喬治梅森大學並建立了量子-經典計算機輔助設計實驗室（JQub）。
該實驗室致力於研究神經網路和硬體加速器（包括量子計算機）的協同設計，在量子神經網路方向，JQub與聖母大學史弋宇教授，布法羅大學熊瑾珺教授，以及新墨西哥大學楊蕾助理教授合作。
並在《自然通訊》期刊，量子計算機周（QuantumWeek），嵌入式系統周（ESWEEK），以及計算機設計會議（ICCAD）上發表多篇文章，並進行線上課程輔導（Tutorial）講座。
作者簡介
專案領導人姜煒文目前是喬治梅森大學助理教授。他於2019年獲重慶大學博士學位；2017年到2019年，曾在匹茲堡大學電子和計算機工程系參與研究工作；2019-2021年，曾在聖母大學做博士後研究助理。
博士期間，姜煒文在國際會議和主要期刊上發表了50多篇研究論文，其中包括10多篇 IEEE/ACM 會刊論文，他在硬體加速和神經網路結構方面的合作研究獲得了IEEE TCAD 2021最佳論文，以及 DAC’19，CODES+ ISSS’19和 ASP-DAC’20最佳論文提名。
他在神經網路和並行系統等方面的研究工作引起了業界的廣泛關注，得到了美國國家科學基金會國際自然科學聯合會的科研基金，與 IBM，Facebook、 Edgecortix inc. (日本/新加坡) 等公司開展了合作研究。
參考資料：
QuantumFlow: https://www.nature.com/articles/s41467-020-20729-5
QFNN: https://jqub.ece.gmu.edu/categories/QF/qfnn/
QF-RobustNN: https://arxiv.org/pdf/2109.03430.pdf
QF-Mixer: https://arxiv.org/pdf/2109.03806.pdf
QuantumFlow Tutorial Github: https://github.com/JQub/QuantumFlow_Tutorial
Tutorial at ESWEEK on Youtube: https://www.youtube.com/watch?v=bYRNU2Ry4h0
