合肥市高新區(qū)云飛路與方興大道交匯處,有一座看似平凡卻蘊(yùn)含無限可能的建筑——本源量子計(jì)算機(jī)組裝與測(cè)試實(shí)驗(yàn)室。
當(dāng)你走近這座建筑,透過那扇玻璃,仿佛能窺視到一個(gè)神秘而又充滿活力的微觀世界。
日前,“住”在這里的中國(guó)第三代自主超導(dǎo)量子計(jì)算機(jī)“本源悟空”,完成全球首個(gè)十億參數(shù)大模型微調(diào)任務(wù)。為深陷“算力焦慮”的AI產(chǎn)業(yè)打開了新世界的大門。
全球首個(gè)量子計(jì)算機(jī)十億級(jí)大模型微調(diào)實(shí)驗(yàn)是做什么的?背后有何意義?合新聞進(jìn)行獨(dú)家解碼。
科研人員在調(diào)試安裝國(guó)產(chǎn)自主超導(dǎo)量子計(jì)算機(jī)。
算力圍城中的量子突圍
在合肥綜合性國(guó)家科學(xué)中心人工智能研究院,副研究員陳昭昀坐在電腦前,點(diǎn)開一組實(shí)驗(yàn)數(shù)據(jù):優(yōu)化后的模型在心理咨詢對(duì)話數(shù)據(jù)集(CPsyCountD)上訓(xùn)練損失降低15%,數(shù)學(xué)推理任務(wù)(R1-Distill-SFT)的嚴(yán)格準(zhǔn)確率從68%提升至82%。
數(shù)據(jù)的背后,是一塊不足指甲蓋大小的芯片——超導(dǎo)量子芯片“悟空芯”,讓量子計(jì)算與大模型微調(diào)技術(shù)完美結(jié)合。
那么,什么是大模型微調(diào)技術(shù)呢?不妨拿大家都熟悉的DeepSeek來打個(gè)比方。
可以把通用大模型想象成一個(gè)擁有一定知識(shí)儲(chǔ)備的萬事通,但是在面對(duì)像醫(yī)療診斷、金融風(fēng)控這樣高度專業(yè)的場(chǎng)景時(shí),它可能就有點(diǎn)力不從心了。
這時(shí)候,微調(diào)就像是一場(chǎng)專門的特訓(xùn)。通過在通用大模型的基礎(chǔ)上,用特定領(lǐng)域的數(shù)據(jù)對(duì)它進(jìn)行進(jìn)一步的訓(xùn)練,就像是給這個(gè)萬事通在特定領(lǐng)域進(jìn)行深度輔導(dǎo),讓它能夠更好地適應(yīng)這些專業(yè)場(chǎng)景。
此前,安徽醫(yī)科大學(xué)聯(lián)合中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院和健康科技企業(yè),在合肥發(fā)布體重管理大模型智能助手“減單”,就是借助AI技術(shù)提高減重的個(gè)性化干預(yù)質(zhì)量和診療效率。
在這個(gè)過程中,通用大模型可能已經(jīng)具備了基礎(chǔ)的醫(yī)學(xué)知識(shí),但要想讓它真正成為一名“醫(yī)生”,還需要通過微調(diào)來提升其在特定疾病診斷上的準(zhǔn)確性。
與此同時(shí),傳統(tǒng)的低秩微調(diào)方法就像是一個(gè)雖然努力但是有點(diǎn)“力不從心”的學(xué)徒。
它雖然在一定程度上提高了模型的性能,可是卻面臨著性能瓶頸和泛化能力有限的“參數(shù)膨脹”難題。這就好比是一個(gè)小房子,東西越來越多,空間就越來越擁擠,效率也就越來越低了。
而量子計(jì)算的出現(xiàn),為解決這些問題提供了新的思路。
以金融風(fēng)控場(chǎng)景為例,通用大模型需處理數(shù)億條交易數(shù)據(jù),參數(shù)規(guī)模動(dòng)輒千億級(jí),訓(xùn)練一次能耗相當(dāng)于上百戶家庭全年用電量。
而量子計(jì)算憑借其疊加態(tài)和糾纏態(tài)的特性,可以同時(shí)探索海量的參數(shù)組合,從而大大提升大模型微調(diào)的訓(xùn)練效率。
“就像給經(jīng)典模型裝上了量子引擎。”本源量子副總裁竇猛漢用了個(gè)形象的比喻,這樣的結(jié)合可以讓兩者協(xié)同發(fā)力,發(fā)揮出更強(qiáng)大的能力。
參數(shù)瘦身術(shù)的量子密碼
傳統(tǒng)計(jì)算機(jī)在處理海量數(shù)據(jù)時(shí),隨著模型規(guī)模的增大,所需的算力也呈指數(shù)級(jí)增長(zhǎng),這不僅限制了大模型的應(yīng)用范圍,還增加了訓(xùn)練成本和時(shí)間,就像一個(gè)人在黑暗中摸索,效率低下且容易迷失方向。
而量子計(jì)算機(jī)則像是一群擁有超能力的人,能夠在同一時(shí)間探索無數(shù)條路徑,迅速找到最優(yōu)解。
為此,團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)了“量子加權(quán)張量混合參數(shù)微調(diào)”方法,通過量子計(jì)算特性實(shí)現(xiàn)智能“微調(diào)”??梢蕴岣哂?xùn)練效率,減少資源消耗。
具體來說,他們將模型權(quán)重轉(zhuǎn)化為量子神經(jīng)網(wǎng)絡(luò)與張量網(wǎng)絡(luò)混合架構(gòu)。
這種混合架構(gòu)的優(yōu)勢(shì)在于,它既能通過量子門操作提取高維非線性特征,又充分利用了張量網(wǎng)絡(luò)在參數(shù)壓縮方面的優(yōu)勢(shì)。
這使得模型在保持高性能的同時(shí),大大減少了參數(shù)量,從而降低了計(jì)算復(fù)雜度和存儲(chǔ)需求。
“這是量子計(jì)算首次‘真機(jī)實(shí)戰(zhàn)’AI大模型任務(wù),證明現(xiàn)有硬件已能初步支撐大模型微調(diào)。”陳昭昀表示。
值得一提的是,在這場(chǎng)量子計(jì)算與AI大模型的“跨界聯(lián)姻”里,“本源悟空”量子計(jì)算機(jī)無疑扮演了關(guān)鍵角色,堪稱“最強(qiáng)助攻”。
作為我國(guó)目前先進(jìn)的可編程、已交付超導(dǎo)量子計(jì)算機(jī),“本源悟空”展現(xiàn)出了強(qiáng)大的量子計(jì)算能力。已為全球139個(gè)國(guó)家超2300萬人次提供量子算力云服務(wù),完成35萬個(gè)量子運(yùn)算任務(wù),涵蓋流體動(dòng)力學(xué)、金融、生物醫(yī)藥等多個(gè)行業(yè)領(lǐng)域。
“本源悟空”能夠讓傳統(tǒng)計(jì)算機(jī)數(shù)年才能啃下的“硬骨頭”,在極短的時(shí)間內(nèi)快速完成。這種高效的計(jì)算能力,使得大模型領(lǐng)域微調(diào)變得更加高效。
量子計(jì)算與AI的深度融合
量子計(jì)算與大模型的結(jié)合,是當(dāng)前AI領(lǐng)域研究的熱點(diǎn)之一。隨著量子計(jì)算技術(shù)的不斷發(fā)展,未來量子計(jì)算將在AI領(lǐng)域發(fā)揮更加重要的作用。
當(dāng)下,“量子+”的化學(xué)反應(yīng)正在你我身邊發(fā)生。從金融風(fēng)控的參數(shù)優(yōu)化,到藥物研發(fā)的分子模擬,量子技術(shù)正在重構(gòu)產(chǎn)業(yè)格局。
一方面,量子計(jì)算可以提供更強(qiáng)大的算力支持,加速大模型的訓(xùn)練和優(yōu)化過程;另一方面,利用量子計(jì)算的疊加態(tài)和糾纏態(tài)特性,可以設(shè)計(jì)出更加高效的量子神經(jīng)網(wǎng)絡(luò)算法,從而提高AI模型的性能和效率。
此外,量子計(jì)算還可以用于解決一些傳統(tǒng)AI算法難以處理的問題,如組合優(yōu)化、量子機(jī)器學(xué)習(xí)等。
不過,我們也要清醒地認(rèn)識(shí)到,盡管量子計(jì)算在大模型微調(diào)方面已經(jīng)取得了顯著的成果,但這個(gè)領(lǐng)域仍然像是一片充滿未知的海洋,還有許多挑戰(zhàn)等待著我們?nèi)フ鞣?/p>
量子計(jì)算機(jī)的硬件性能就像是一個(gè)還需要不斷成長(zhǎng)的孩子,還有待進(jìn)一步提升,這樣才能滿足更大規(guī)模、更復(fù)雜的計(jì)算需求。
而且,量子計(jì)算與AI技術(shù)的融合就像是一場(chǎng)剛剛開始的戀愛,還需要深入研究和探索。如何將量子計(jì)算的特性更好地融入AI模型,如何設(shè)計(jì)出更加高效的量子神經(jīng)網(wǎng)絡(luò)算法,這些都是科學(xué)家們需要攻克的難題,就像是一座座高山等待著勇敢的攀登者。
合肥量子產(chǎn)業(yè)的“十年磨一劍”
沿著合肥高新區(qū)望江西路向西,量子大道兩側(cè)聚集著本源量子等幾十家量子企業(yè),形成全國(guó)最完整的量子產(chǎn)業(yè)鏈。
在這個(gè)過程中,合肥正以“量子+”思維重構(gòu)產(chǎn)業(yè)格局——量子通信保障金融安全,量子計(jì)算加速藥物研發(fā),量子測(cè)量提升工業(yè)精度,一幅“量子賦能未來”的畫卷正在巢湖之濱徐徐展開。
如今,這里已建成中國(guó)第一條自主超導(dǎo)量子計(jì)算機(jī)制造鏈、國(guó)內(nèi)首條量子芯片生產(chǎn)線,并上線中國(guó)第三代自主超導(dǎo)量子計(jì)算機(jī)“本源悟空”。
在政策支持方面,合肥市出臺(tái)《量子信息產(chǎn)業(yè)發(fā)展規(guī)劃(2020-2030年)》,全力打造“量子科技”“量子產(chǎn)業(yè)”雙高地。
我們有理由相信,在不久的將來,量子計(jì)算將給我們的生活帶來更多的驚喜和便利。
江淮晨報(bào)-合新聞?dòng)浾?王書滸
圖片來源:安徽省量子計(jì)算工程研究中心