日前，谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表了一篇論文，提出結(jié)合深度強化學習的方法來實現(xiàn)通用量子控制，從而能夠極大地提高量子計算機的計算能力。谷歌也在官方博客上發(fā)表文章介紹了這項工作。
實現(xiàn)近期量子計算機的主要挑戰(zhàn)之一與其最基本的組成有關(guān)：量子比特。量子位可以與任何攜帶與自身能量相近的東西交互，包括雜散光子(如不需要的電磁場)、聲子(量子設(shè)備的機械性振蕩)或量子虧損(制造期間所形成的芯片基板中的不規(guī)則性)，其中，量子虧損會不可預測地改變量子比特本身的狀態(tài)。
而使問題進一步復雜化的是，用于控制量子比特的工具帶來了許多挑戰(zhàn)。研究者通過經(jīng)典的控制方式來操作和讀取量子比特：模擬信號以電磁場的形式耦合到其中嵌入了量子比特的物理基底，例如超導電路。這些控制電子設(shè)備中的缺陷(會造成白噪聲)、來自外部輻射源的干擾以及數(shù)模轉(zhuǎn)換器的波動會引入更多的隨機誤差，從而降低量子線路的性能。這些現(xiàn)實問題都會影響計算的保真度，因此限制了近期量子設(shè)備的應用。
為了提高量子計算機的計算能力，并為實現(xiàn)大規(guī)模量子計算鋪路，就必須首先建立能夠準確描述這些實驗性問題的物理模型。
谷歌在 Nature 合作期刊《npj Quantum Information》上發(fā)表的《通過深度強化學習實現(xiàn)通用量子控制》(Universal Quantum Control through Deep Reinforcement Learning)論文中，提出了一種使用深度強化學習生成的新的量子控制框架，其中可以通過單個控制成本函數(shù)來概括量子可控制優(yōu)化中的各類實際問題。與標準隨機梯度下降的解決方案相比，該框架可將量子邏輯門的平均誤差最多降低兩個數(shù)量級，并且大幅降低了來自最優(yōu)門生成的副本的門時間。這一結(jié)果為使用近期量子設(shè)備來開展量子仿真、量子化學和量子霸權(quán)測試開啟了更加廣闊的應用空間。
這種新的量子控制范式，其創(chuàng)新之處在于對量子控制函數(shù)的改進以及提出的基于深度強化學習的高效優(yōu)化方法。
為了創(chuàng)建一個全面的成本函數(shù)，首先需要為實際的量子控制過程創(chuàng)建一個物理模型，基于該模型，我們能夠可靠地預測誤差量。對量子計算的準確性最不利的誤差之一就是泄漏：在計算過程中損失的量子信息量。這種信息泄漏通常發(fā)生在量子比特的量子態(tài)被激發(fā)為較高能態(tài)或通過自發(fā)輻射衰退成較低能態(tài)時。泄漏誤差不僅會損失有用的量子信息，而且還會降低「量子性」，并最終使量子計算機的性能降低得與經(jīng)典計算機差不多。
在量子計算過程中準確地評估泄漏信息的常見做法是，一開始就模擬整個計算。然而，這并不利于達成構(gòu)建大規(guī)模量子計算機的目的，因為量子計算機的優(yōu)勢就在于它們能夠執(zhí)行經(jīng)典系統(tǒng)所無法執(zhí)行的計算。谷歌研究人員通過使用改進后的物理模型，能夠讓通用的成本函數(shù)對逐漸增加的泄漏誤差、控制邊界條件的違背情況、總的門時間和門保真度進行聯(lián)合優(yōu)化。
創(chuàng)建了新的量子控制成本函數(shù)后，下一步就是應用高效的優(yōu)化工具將該函數(shù)最小化。經(jīng)證實，現(xiàn)有的優(yōu)化方法無法找到對于控制波動同樣具有魯棒性的令人滿意的高保真度解決方案。相反地，谷歌研究人員則采用同步策略的深度強化學習(RL)方法，即置信域強化學習(Trusted-Region RL)，因為該方法在所有基準問題中均表現(xiàn)出良好的性能，對樣本噪聲具有固有的魯棒性，并且能夠優(yōu)化有著數(shù)億個控制參數(shù)的數(shù)百種高難度的控制問題。
這種同步策略強化學習與先前研究的異步策略強化學習方法之間的顯著差異在于，其對控制策略的表示獨立于控制成本。另一方面，例如 Q 學習等異步策略強化學習使用單個神經(jīng)網(wǎng)絡(luò)(NN)來表示控制軌跡和相關(guān)的獎勵，其中控制軌跡指定要耦合到不同時間步長的量子比特的控制信號，而相關(guān)的獎勵則評估量子控制當前步長的好壞。
同步策略強化學習引人關(guān)注的一項能力在于：能夠在控制軌跡中利用非本地特征。當控制領(lǐng)域是高維且包含大量組合的非全局解決方案時，這種能力就變得至關(guān)重要，而對于量子系統(tǒng)而言，這種情況經(jīng)常發(fā)生。
研究人員將控制軌跡編碼為一個完全連接的三層神經(jīng)網(wǎng)絡(luò)，即策略 NN，同時將控制成本函數(shù)編碼為第二個神經(jīng)網(wǎng)絡(luò)(值 NN)，后者可以對折扣未來獎勵(Discounted Future Reward)進行編碼。強化學習智能體在模擬現(xiàn)實中的噪音控制驅(qū)動的隨機環(huán)境下訓練這兩個神經(jīng)網(wǎng)絡(luò)，獲得了魯棒的控制解決方案。此外，他們還為一組連續(xù)參數(shù)化的兩位量子門提供了控制解決方案，這對于量子化學應用而言很重要，不過，使用傳統(tǒng)的通用量子門集實現(xiàn)這一操作，成本也很高。
谷歌研究人員使用這一新框架進行的數(shù)值模擬結(jié)果表明，與通用量子門集的傳統(tǒng)方法相比，該方法將量子門誤差減少了 100 倍，與此同時，還為一系列連續(xù)參數(shù)化的模擬量子門將門時間減少了平均一個數(shù)量級。
這項工作凸顯了使用創(chuàng)新性機器學習技術(shù)和能夠利用通用量子控制方案的靈活性和附加計算能力的近期量子算法的重要性。進一步，該領(lǐng)域的研究者還需要做更多的實驗來將機器學習技術(shù)(就比如說我們在這項工作中開發(fā)的技術(shù))整合到實際的量子計算過程中，從而利用機器學習來充分提高量子計算機的計算能力。
