科研快訊丨軟件工程智能體最新綜述來了!《Agents in SE: Survey, Landscape, and Vision》

本篇綜述的作者包括必贏3003no1線路檢測中心的鄭子彬教授、王焱林助理教授、陳嘉弛助理教授、研究生黃炎賢、鐘宛君、華為云的王千祥、馬宇馳老師、中科院楊敏副研究員、廈門大學(xué)李輝副教授、以及西安交通大學(xué)博士研究生石恩升。

近年來,大語言模型(LLM)取得了令人矚目的成就,并被廣泛應(yīng)用于各種下游任務(wù),尤其是在軟件工程(SE)領(lǐng)域的各個任務(wù)中。許多將大模型與軟工領(lǐng)域相結(jié)合的研究都顯式或隱式地涉及到了智能體的概念?;诖竽P偷闹悄荏w能夠感知外界環(huán)境信息并將其轉(zhuǎn)化成大模型能夠理解和處理的模式,借助其記憶、推理、檢索、學(xué)習(xí)、交互等能力,大模型能夠在各類下游任務(wù)中取得更好的表現(xiàn)。目前還缺乏相關(guān)的工作對軟工領(lǐng)域中基于大模型的智能體發(fā)展現(xiàn)狀進行梳理。

必贏3003no1線路檢測中心聯(lián)合華為云、中科院、廈門大學(xué)以及西安交通大學(xué)共同對115篇相關(guān)的文獻進行梳理,構(gòu)造了軟工領(lǐng)域中基于大模型的智能體框架。該綜述深入探討了軟件工程與智能體技術(shù)融合所面臨的主要挑戰(zhàn),同時總結(jié)了未來研究中潛在的機遇。

論文地址:

https://arxiv.org/abs/2409.09030

論文列表:

https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE

 

01軟工領(lǐng)域中基于大語言模型的智能體框架

Figure 2所示,基于大模型的智能體包含三個關(guān)鍵模塊:感知、記憶和動作。其中,感知模塊接收各種模態(tài)的外部環(huán)境信息,并將其轉(zhuǎn)換為大模型可以理解和處理的輸入形式。動作模塊包括內(nèi)部動作和外部動作,分別負責(zé)根據(jù)大模型的輸入做出推理決策和根據(jù)與外部環(huán)境交互獲得的反饋優(yōu)化決策。記憶模塊包括語義記憶、情景記憶和程序記憶,可以提供額外的有用信息來幫助大模型做出推理決策。同時,動作模塊還可以通過學(xué)習(xí)動作來更新記憶模塊中的不同記憶,為推理和檢索動作提供更有效的記憶信息。此外,多智能體協(xié)作由多個負責(zé)部分任務(wù)的單個智能體組成,通過協(xié)作合作共同完成同一復(fù)雜任務(wù)。

感知模塊

感知模塊連接基于大模型的智能體與外部環(huán)境,是處理外部輸入的核心模塊。它可以處理文本、視覺、聽覺等不同模態(tài)的輸入,并將其轉(zhuǎn)換為基于大模型的智能體能夠理解和處理的嵌入向量格式,為基于大模型的智能體的推理和決策行為奠定基礎(chǔ)。與自然語言處理(NLP)領(lǐng)域中的文本輸入格式不同,考慮到代碼的特點,軟工中的文本輸入格式除了基于代碼序列的輸入以外,還有如抽象語法樹(AST)、控制流圖(CFG)等基于樹或圖結(jié)構(gòu)以及混合類型的輸入。

 

記憶模塊

記憶模塊包括語義記憶、情景記憶和程序記憶,它們可以提供額外的有用信息來幫助大模型進行推理決策。

1)語義記憶(Semantic Memory

語義記憶指基于大模型的智能體的常識或公認的世界知識等,通常存儲在外部知識檢索庫中。外部知識檢索庫中可存儲文檔、庫、API等其他類型的信息。其中,文檔和API是外部知識庫中最常見的信息類型。通過增加相關(guān)的文檔和API知識,智能體能夠更好地理解問題和做出推理決策。

2)情景記憶(Episodic Memory

情景記憶指的是與當前問題相關(guān)的內(nèi)容以及來自先前決策過程的經(jīng)驗信息等。與當前問題相關(guān)的內(nèi)容(例如在搜索數(shù)據(jù)庫中找到的相關(guān)信息、上下文學(xué)習(xí)(ICL)技術(shù)提供的樣本等)可以為基于大模型的智能體推理提供額外的知識來更好地理解問題,先前決策過程的經(jīng)驗信息則能夠為基于大模型的智能體進行推理決策提供參考。因此,許多工作將此類信息引入到基于大模型的智能體的推理過程中,提高推理效率和質(zhì)量。

3)程序記憶(Procedural Memory

程序記憶包括隱性知識和顯性知識。其中,隱性知識存儲在大模型參數(shù)中?,F(xiàn)有的工作通常通過大量數(shù)據(jù)訓(xùn)練模型,得到具有豐富隱性知識的預(yù)訓(xùn)練大模型來完成各種下游任務(wù)顯性知識;或者,用高質(zhì)量的數(shù)據(jù)預(yù)料對已有的預(yù)訓(xùn)練大模型進行微調(diào)得到表現(xiàn)更好的微調(diào)模型。顯性知識主要存儲在預(yù)先定義的智能體代碼(Agent code)中,使得智能體能夠自動運行,進行獨立推理和決策。智能體代碼指的是驅(qū)動智能體運行、指導(dǎo)其行為和決策的程序或算法。

 

動作模塊

1)內(nèi)部動作

內(nèi)部動作包括推理、檢索和學(xué)習(xí)動作。其中,推理動作負責(zé)根據(jù)基于大模型的智能體的輸入進行問題分析、推理和決策。檢索動作可以從知識庫中檢索相關(guān)信息,輔助推理動作做出正確決策。學(xué)習(xí)動作則是通過學(xué)習(xí)和更新語義、程序和情景記憶,不斷學(xué)習(xí)和更新知識,從而提高推理和決策的質(zhì)量和效率。

推理動作:嚴謹?shù)耐评磉^程是基于大模型的智能體完成任務(wù)的關(guān)鍵,而思維鏈(CoT)是最主流的有效推理方式。借助思維鏈,大模型可以深入理解問題,分解復(fù)雜任務(wù),并生成高質(zhì)量的答案。如Figure 3所示,現(xiàn)有工作探索了不同形式的思維鏈,包括樸素思維鏈/計劃)(Native CoT/Plan)、結(jié)構(gòu)化的思維鏈(SCoT)、頭腦風(fēng)暴(Brainstorming)、樹形思維鏈(Tree CoT)等。具體地,樸素思維鏈/計劃是在提示(prompt)中讓大模型逐步思考,生成的回答中給出分析問題的具體過程并逐步解決問題(如Figure 3中(a)所示)。考慮到代碼的特性,一些工作提出了結(jié)構(gòu)化的推理模式來引入代碼的結(jié)構(gòu)信息,得到結(jié)構(gòu)化的思維鏈。結(jié)構(gòu)化的思維鏈以偽代碼的形式呈現(xiàn)推理過程,涉及循環(huán)、分支等邏輯結(jié)構(gòu)(如Figure 3中的(b)所示)。在提示中讓智能體進行頭腦風(fēng)暴,利用算法、數(shù)據(jù)結(jié)構(gòu)以及數(shù)學(xué)等知識給出解決問題的關(guān)鍵詞,例如Figure 3中(c)給出了解決問題可行的算法作為頭腦風(fēng)暴的結(jié)果。樹形的思維鏈動態(tài)地探索和更新思維鏈,樹中的節(jié)點涉及已完成、新建、新推斷、待定等多種狀態(tài)(如Figure 3中(d)所示)。

檢索動作:檢索動作可以從知識庫中檢索相關(guān)信息,以輔助推理動作做出正確的決策。檢索所用的輸入和檢索得到的輸出內(nèi)容有不同的類型。如Table 1所示,輸入和輸出可以是文本、代碼,也可以是同時包含文本和代碼的混合信息。現(xiàn)有的檢索方法可分為基于稀疏的檢索(sparse-based)、基于密集的檢索(dense-based)和其他方法。Figure 4分別展示了基于稀疏的檢索和基于密集的檢索流程?;诿芗臋z索方法將輸入轉(zhuǎn)換為高維向量,然后比較語義相似度以選擇具有最高相似度的k個樣本;而基于稀疏的檢索方法計算BM25TF-IDF等指標來評估樣本之間的文本相似度。此外,還有計算自然語言文本之間的編輯距離或代碼片段的AST等其他的檢索方法。

 

基于密集和基于稀疏的檢索方法是兩種最主流的檢索方法。其中,密集型檢索技術(shù)通常比稀疏型檢索方法具有更好的性能。但稀疏型檢索可以在達到與密集型檢索相當?shù)男阅芩降幕A(chǔ)上獲得更高的檢索效率。因此,更多的工作選擇采用稀疏型檢索方法。

 

學(xué)習(xí)動作:學(xué)習(xí)動作是通過學(xué)習(xí)和更新語義和程序記憶,不斷地學(xué)習(xí)和更新知識,從而提高推理和決策的質(zhì)量和效率。(1)用知識更新語義記憶。語義記憶主要存在于存儲基本世界知識的知識庫中,可以通過利用已識別的代碼知識更新知識庫或構(gòu)建新的知識庫來更新語義記憶。(2)更新隱性知識。由于隱性知識存儲在大模型參數(shù)中,因此可以通過微調(diào)模型來更新大模型參數(shù),從而更新隱性知識。(3)更新智能體代碼?;诖竽P偷闹悄荏w將相應(yīng)的提示構(gòu)建為智能體代碼,以規(guī)范智能體如何感知環(huán)境、推理和決策以及執(zhí)行動作。許多工作使用指令調(diào)優(yōu)技術(shù)將大模型的輸出與輸入指令對齊。

 

2)外部動作

與開發(fā)者或其他智能體交互:智能體可以與開發(fā)者或其他智能體進行交互,并在交互過程中獲得豐富的信息作為反饋,擴展智能體的知識范圍并對生成的回答進行優(yōu)化和修正。

與數(shù)字系統(tǒng)交互:智能體可以與數(shù)字化系統(tǒng)(比如OJ平臺、網(wǎng)頁、編譯器等外部工具)進行交互,交互過程中獲得的信息可以作為反饋來優(yōu)化自身。其中,編譯器是最常見的外部工具之一,已有許多工作用編譯器編譯基于大模型的智能體生成的代碼,并將編譯得到的錯誤信息作為反饋信息對代碼進行優(yōu)化。

 

 

02挑戰(zhàn)和未來研究方向

本文中進一步分析了軟工技術(shù)與智能體技術(shù)結(jié)合的現(xiàn)有挑戰(zhàn)并總結(jié)了一些未來研究中存在的機遇。

 

對感知模塊探索的缺乏

在介紹感知模塊時提到,軟工領(lǐng)域中探索基于大模型的智能體感知模塊的工作還很缺乏。與自然語言不同,代碼是一種特殊的表示,可以作為普通文本處理,也可以轉(zhuǎn)換為具有代碼特征的中間表示,例如 AST、CFG 等。現(xiàn)有工作通常將代碼視為普通文本,忽略了代碼特性,建模得到的代碼表示中的信息不足,限制了基于大模型的智能體在代碼相關(guān)的下游任務(wù)上的表現(xiàn)。此外,軟工領(lǐng)域中目前還缺乏對視覺和聽覺輸入模態(tài)的探索。探索如何高效建模感知模塊中基于樹/圖、視覺或聽覺等輸入模態(tài)是未來研究可行的方向之一。

 

基于大模型的智能體的角色扮演能力

一方面,基于大模型的智能體通常需要在不同任務(wù)中扮演不同的角色,每個角色都需要特定的技能。例如,智能體在生成代碼時扮演代碼生成器的角色,測試代碼時則扮演代碼測試員的角色。另一方面,智能體有時可能需要同時扮演多個不同角色,具備多種不同能力。例如,在代碼生成場景中,智能體需要同時扮演代碼生成器和代碼測試員兩個角色,具備生成和測試代碼的能力。軟工領(lǐng)域中存在各種已有大模型學(xué)習(xí)得不夠充分的小眾任務(wù)和需要智能體具備多種能力的復(fù)雜任務(wù),例如測試生成場景、前端開發(fā)、倉庫級代碼生成等。因此,研究如何使智能體有效地適應(yīng)新角色和管理多角色性能需求也是未來工作的一個可行方向。

 

公認知識檢索庫的欠缺

外部知識檢索庫既是智能體語義記憶模塊中的重要組成部分,也是智能體交互的重要外部工具之一。在NLP領(lǐng)域,有維基百科(Wikipedia)等公認的大型知識庫作為外部檢索庫。但在軟工領(lǐng)域,目前尚無權(quán)威的、公認的包含豐富代碼相關(guān)知識(如各類編程語言的基本語法、各類常用算法、數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)相關(guān)知識等)的知識庫。未來研究中的一個可行方向是開發(fā)一個大型的權(quán)威代碼知識庫,并將其作為智能體的外部檢索庫,為智能體推理決策提供額外的信息,從而提高推理和決策過程的質(zhì)量和效率。

 

基于大模型的智能體中的幻覺問題

大模型作為基于大模型的智能體的認知核心,其整體性能影響著智能體在各種任務(wù)中的表現(xiàn)。已有的工作表明基于大模型的智能體中可能會存在幻覺問題,例如,在做代碼生成任務(wù)時生成不存在的API。智能體性能和幻覺緩解之間存在雙向關(guān)系:幻覺問題的緩解可以提高智能體的整體表現(xiàn),同時智能體的優(yōu)化也能夠反向緩解基于大模型的智能體的幻覺。雖然目前已有一系列工作致力于研究大模型的幻覺,但解決基于大模型的智能體中的幻覺問題仍然存在挑戰(zhàn)。探索基于大模型的智能體中存在哪些類型的幻覺、深入分析這些幻覺的原因以及提出有效的幻覺緩解方法是未來研究中存在的機遇之一。

 

多智能體協(xié)同合作的效率問題

在多智能體協(xié)作過程中,各個智能體需要扮演不同的角色來完成特定的任務(wù),然后將各個智能體的決策結(jié)果結(jié)合起來,共同解決更為復(fù)雜的目標。但這一過程往往需要每個智能體投入大量的計算資源,造成資源的浪費和效率的降低。此外,各個單智能體之間各種信息的同步和共享也引入了額外的通信成本,影響協(xié)作的實時性和響應(yīng)速度。有效管理和分配計算資源、最小化智能體間通信成本、減少各個智能體的推理開銷是提升多智能體協(xié)作效率的關(guān)鍵挑戰(zhàn),這些問題的解決為未來的研究提供了重要的機會。

 

基于大模型的智能體中軟工技術(shù)的應(yīng)用

智能體與軟工領(lǐng)域之間存在互惠互利的關(guān)系,不僅智能體技術(shù)能夠應(yīng)用于軟工領(lǐng)域,軟工領(lǐng)域的技術(shù)(尤其是編碼技術(shù))也可以應(yīng)用到智能體中,推動智能體領(lǐng)域的發(fā)展。例如,軟件測試技術(shù)可以用于識別基于大模型的智能體中的異常行為和潛在缺陷。軟件工具(如 API 和庫)的改進也可以提高基于大模型的智能體(尤其是對于那些具有工具使用能力的智能體)的性能。此外,智能體系統(tǒng)的管理可以借鑒軟件包管理技術(shù)。例如,可以應(yīng)用版本控制來監(jiān)視和協(xié)調(diào)智能體系統(tǒng)中不同智能體之間的更新,從而增強兼容性和系統(tǒng)完整性。目前這方面的研究仍然有限,探索將更復(fù)雜的軟工技術(shù)融入智能體系統(tǒng)有助于推動這兩個領(lǐng)域的進步,是未來研究的可行方向之一。

 

綜上,本綜述對智能體技術(shù)與軟工領(lǐng)域結(jié)合的相關(guān)工作進行了分析和梳理,構(gòu)造了包含感知、記憶、動作三個核心模塊的軟工領(lǐng)域智能體框架,總結(jié)軟工技術(shù)與智能體技術(shù)結(jié)合存在的挑戰(zhàn)并給出了一些未來研究中存在的機遇。相信本綜述能夠為智能體和軟工領(lǐng)域的發(fā)展起到促進作用。

 

卓越教學(xué) | 必贏3003no1線路檢測中心開展2024-2025學(xué)年第一學(xué)期教師試講工作

為進一步提高教師教育教學(xué)的能力和水平,確保課堂教學(xué)質(zhì)量,必贏3003no1線路檢測中心于2024827日下午采取線上線下相結(jié)合的方式,在珠海校區(qū)公共實驗大樓A307會議室組織開展了2024學(xué)年秋季學(xué)期新開課教師試講工作。

 

本次新開課教師試講工作由學(xué)院蘇玉鑫副院長擔(dān)任考核組組長,南雨宏、吳嘉婧、何笑雨及王焱林老師擔(dān)任考核組專家成員。蔣子規(guī)、孔樹鋒和劉名威3位副教授參與了本次2024-2025學(xué)年第一學(xué)期新開設(shè)課程的試講,試講課程分別為《數(shù)據(jù)結(jié)構(gòu)與算法》《深度學(xué)習(xí)》《軟件測試》。

                           教師試講現(xiàn)場

 

本次試講包括教師講授課程和答辯兩個環(huán)節(jié)。每位試講教師先進行20分鐘的模擬課堂授課,結(jié)束后由考核專家組針對試講教師的整體表現(xiàn)進行約10分鐘的提問與點評。

 

參與試講的各位老師都對試講內(nèi)容做了充分的準備,圍繞人才培養(yǎng)需求與教學(xué)目標,展示了自己的教學(xué)特色和教學(xué)理念。教學(xué)環(huán)節(jié)設(shè)計合理,教學(xué)方法豐富。試講內(nèi)容邏輯清晰,重點突出,展示了扎實的專業(yè)素養(yǎng)與良好的教學(xué)水平。

 

試講環(huán)節(jié)結(jié)束后,專家組評委們充分肯定了各位試講教師的優(yōu)點,同時結(jié)合自身的教學(xué)經(jīng)驗,就課程PPT設(shè)計、課程概念與案例之間的平衡、當堂課程重點的偏重等方面對試講效果進行了客觀公正的點評,為各位試講老師提供了合理的建議。三位試講教師表示將根據(jù)專家意見,總結(jié)完善課程內(nèi)容,持續(xù)改進教學(xué)能力,提高課堂教學(xué)質(zhì)量。

 

經(jīng)考核組專家合議,本次所有試講教師均通過考核,必贏3003no1線路檢測中心2024-2025學(xué)年第一學(xué)期教師試講工作圓滿結(jié)束。

 

新開課教師試講工作是保障課堂教學(xué)質(zhì)量的一項重要舉措。此次活動有助于考察評估教師教學(xué)水平、加強教師隊伍建設(shè)與提升本科教學(xué)質(zhì)量。必贏3003no1線路檢測中心將繼續(xù)全面貫徹黨的教育方針,落實立德樹人根本任務(wù),不斷完善教師教學(xué)能力保障體系,推進高質(zhì)量教師隊伍建設(shè),提升學(xué)院本科教育教學(xué)水平,以培養(yǎng)更多高素質(zhì)的軟工專業(yè)人才。

 

網(wǎng)絡(luò)安全為人民,網(wǎng)絡(luò)安全靠人民 | 必贏3003no1線路檢測中心開展網(wǎng)絡(luò)安全宣傳周系列活動

為深入貫徹落實國家關(guān)于加強網(wǎng)絡(luò)安全教育的精神,增強我校師生的網(wǎng)絡(luò)安全意識,必贏3003no1線路檢測中心于202499日至15日開展了網(wǎng)絡(luò)安全為人民,網(wǎng)絡(luò)安全靠人民系列活動,切實提高廣大師生的網(wǎng)絡(luò)安全素養(yǎng),共同營造一個安全、和諧的校園網(wǎng)絡(luò)環(huán)境。

 

01網(wǎng)絡(luò)空間安全專題培訓(xùn)

2024912日,深信服科技股份有限公司解決方案專家到訪學(xué)院開展網(wǎng)絡(luò)空間安全專題培訓(xùn),向?qū)W院師生普及網(wǎng)絡(luò)空間安全變化發(fā)展、全球網(wǎng)絡(luò)安全安全態(tài)勢、《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》等知識。

網(wǎng)絡(luò)空間安全專題培訓(xùn)現(xiàn)場

 

02網(wǎng)絡(luò)安全人才招聘

 

學(xué)院依托一站式社區(qū)、人才招聘宣講會等形式邀請了深信服科技股份有限公司、粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院(福田)基礎(chǔ)軟件中心等企業(yè)進校進行人才雙選,致力為互聯(lián)網(wǎng)企業(yè)、網(wǎng)絡(luò)安全企業(yè)、科研機構(gòu)等單位提供優(yōu)秀的網(wǎng)絡(luò)安全人才。

深信服科技股份有限公司人才招聘宣講會

粵港澳大灣區(qū)數(shù)字經(jīng)濟研究院(福田)基礎(chǔ)軟件中心人才招聘宣講會

 

 

03線上線下結(jié)合開展網(wǎng)絡(luò)安全宣傳

 

學(xué)院在微信公眾號平臺和學(xué)院樓大屏顯示器定期播放網(wǎng)絡(luò)安全宣傳周視頻和宣傳手冊。

線上線下開展網(wǎng)絡(luò)安全宣傳

 

通過參加網(wǎng)絡(luò)安全知識云競答活動,提高師生防范網(wǎng)絡(luò)詐騙、安全使用網(wǎng)絡(luò)的意識,加深對網(wǎng)絡(luò)安全的認識,了解網(wǎng)絡(luò)安全的重要性,營造良好的校園氛圍,構(gòu)筑出網(wǎng)絡(luò)安全的第一道防線。

師生參加網(wǎng)絡(luò)安全知識答題競賽截圖

 

依法治網(wǎng)、依法辦網(wǎng)、依法上網(wǎng)

推進社會治理在網(wǎng)絡(luò)空間的新征程

在數(shù)字化時代,讓我們共同努力

打造天朗氣清、生態(tài)良好的網(wǎng)絡(luò)空間

維護億萬民眾共同的精神家園

喜報丨必贏官網(wǎng)6名老師入選全球前2%頂尖科學(xué)家榜單(2024)

2024916日,美國斯坦福大學(xué)(Stanford UniversityJohn P.A.Ioannidis教授團隊發(fā)布了第七期全球前2%頂尖科學(xué)家榜單(World's Top 2% Scientists)。榜單分為終身科學(xué)影響力排行榜”——關(guān)注整個學(xué)術(shù)生涯迄今的影響力,和年度科學(xué)影響力排行榜”——聚焦本年度(2024年)的學(xué)術(shù)成就。

 

必贏官網(wǎng)鄭子彬教授同時入選終身科學(xué)影響力排行榜年度科學(xué)影響力排行榜兩個榜單;周育人教授、吳嘉婧副教授、黃華威副教授、陳武輝教授、陳建國副教授(按榜單排名順序)入選年度科學(xué)影響力排行榜

 

必贏官網(wǎng)入選年度科學(xué)影響力排行榜的教師名單

 

全球前2%頂尖科學(xué)家榜單由斯坦福大學(xué)John P.A. Ioannidis教授團隊聯(lián)合國際權(quán)威學(xué)術(shù)出版社愛思唯爾發(fā)布,于20197月發(fā)布了該榜單的第一期,截至目前已發(fā)布七期。第七期統(tǒng)計時間節(jié)點為1960-2024年,涵蓋全球約20余萬名科學(xué)家。

 

數(shù)據(jù)來源

 

該榜單基于全球科學(xué)家的論文總引用數(shù)、h指數(shù)(全稱“H-index”,用于評估研究人員的學(xué)術(shù)產(chǎn)出數(shù)量與學(xué)術(shù)產(chǎn)出水平)、合著者調(diào)整的hm指數(shù)、單獨或第一作者的文章引用數(shù)等綜合參數(shù),反映科學(xué)家的產(chǎn)出量和學(xué)術(shù)影響力。入選的科學(xué)家分為22個學(xué)科領(lǐng)域和174個細分領(lǐng)域。

 

 

聯(lián)系方式

聯(lián)系人:林老師

聯(lián)系電話:+86-0756-3661030

聯(lián)系郵箱:linj27@mail.sysu.edu.cn

辦公地址:廣東省珠海市高新區(qū)大學(xué)路2號必贏3003no1線路檢測中心珠海校區(qū)公共實驗樓A305

學(xué)院官網(wǎng):/

 

必贏3003no1線路檢測中心參與成立“大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室”

2024911日,在2024年國家網(wǎng)絡(luò)安全宣傳周粵港澳大灣區(qū)安全技術(shù)創(chuàng)新座談會上,由中共廣東省委網(wǎng)信辦和國家互聯(lián)網(wǎng)應(yīng)急中心廣東分中心聯(lián)合發(fā)起組織籌建的大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室(以下簡稱聯(lián)合實驗室)正式成立。

 

必贏3003no1線路檢測中心與華為公司、騰訊公司、廣州市委網(wǎng)信辦、深圳市委網(wǎng)信辦、東莞市委網(wǎng)信辦以及深圳河套發(fā)展署將共同參與聯(lián)合實驗室建設(shè)。必贏3003no1線路檢測中心必贏3003no1線路檢測中心院長鄭子彬教授出席了聯(lián)合實驗室成立儀式。

 

圖片

必贏官網(wǎng)鄭子彬院長出席聯(lián)合實驗室成立儀式(左三)

 

聯(lián)合實驗室將在省委網(wǎng)信辦的直接領(lǐng)導(dǎo)下,緊緊依托國家互聯(lián)網(wǎng)應(yīng)急中心的全面賦能,由國家互聯(lián)網(wǎng)應(yīng)急中心廣東分中心牽頭實體化運行,屬地網(wǎng)信等相關(guān)部門大力支持,充分發(fā)揮華為公司、騰訊公司在人工智能方面的核心引擎和輻射帶頭作用,以及必贏3003no1線路檢測中心在安全可信、量化評級方面的深厚科研積累,著重推進六方面能力建設(shè):一是建設(shè)一套本地化生成式人工智能安全測評系統(tǒng);二是形成一套屬地生成式人工智能安全發(fā)展標準;三是訓(xùn)練一套大模型安全智能測評引擎;四是運行一套平臺自動化+專家團隊復(fù)核的運營方式;五是研究一套安全可信+量化評級的服務(wù)行業(yè)框架;六是探索一套共建共享+雙向賦能的促進發(fā)展支撐監(jiān)管新模式。

 

必贏3003no1線路檢測中心必贏3003no1線路檢測中心于20247月正式成立可信大模型研究中心,致力于研究和開發(fā)安全可信賴的人工智能大模型技術(shù)。研究團隊重點圍繞大模型的可信技術(shù)問題開展研究,主要覆蓋幻覺消除、可控生成、模型可解釋性、魯棒性與可靠性、數(shù)據(jù)隱私與安全、自主可控基礎(chǔ)設(shè)施以及模型可信性評估等方面,以提升大模型的真實性、安全性、公平性、魯棒性和隱私性等指標,實現(xiàn)安全可靠、自主可控的人工智能技術(shù)發(fā)展。接下來,學(xué)院將在聯(lián)合實驗室相關(guān)部門的指導(dǎo)下,為聯(lián)合實驗室的大模型可信評測工作提供技術(shù)支持與服務(wù),助力大灣區(qū)生成式人工智能的安全發(fā)展。

“人工智能與生物醫(yī)學(xué)融合:前沿技術(shù)與創(chuàng)新應(yīng)用論壇”在學(xué)院順利舉行

2024723日,由中國計算機學(xué)會(CCF)主辦,必贏3003no1線路檢測中心、CCF珠海會員活動中心承辦的人工智能與生物醫(yī)學(xué)融合:前沿技術(shù)與創(chuàng)新應(yīng)用論壇活動在必贏3003no1線路檢測中心必贏3003no1線路檢測中心(珠海校區(qū))順利舉行。

 

本次論壇主席由必贏3003no1線路檢測中心陳建國副教授和山東師范大學(xué)梁成副教授擔(dān)任,論壇共邀請到加拿大多倫多大學(xué)張兆雷教授、美國伊利諾伊大學(xué)Philip S. Yu教授(IEEE/ACM Fellow)、湖南大學(xué)駱嘉偉教授、必贏3003no1線路檢測中心鄭子彬教授(IEEE Fellow)、必贏3003no1線路檢測中心附屬第五醫(yī)院呂海主任和唐彩華副主任、徐州醫(yī)科大學(xué)董東教授、南方科技大學(xué)帥世民研究員、香港科技大學(xué)(廣州)謝思泓教授和胡旭明教授、哈爾濱工業(yè)大學(xué)馬洪麗副研究員、湖南師范大學(xué)肖球副教授、西安電子科技大學(xué)張世雄副教授和孫賽賽副教授、西安工程大學(xué)楊博副教授、加拿大多倫多大學(xué)潘楚研究員、澳門科技大學(xué)田晉宇副教授、肇慶學(xué)院朱香元副教授、中科鴻業(yè)科技張平董事長等包括中國澳門地區(qū)在內(nèi)的國內(nèi)外16個單位的60余名知名專家學(xué)者、高校師生和企業(yè)代表參加。

圖片

 

活動開始,本次論壇執(zhí)行主席陳建國副教授和梁成副教授介紹了與會嘉賓與論壇議程。

 

圖片

 

必贏3003no1線路檢測中心必贏3003no1線路檢測中心院長鄭子彬教授致歡迎辭。他對各位專家學(xué)者的到來表示熱烈歡迎,并簡要介紹了學(xué)院在軟件工程、區(qū)塊鏈、分布式計算、可信大模型等領(lǐng)域的科研成果和發(fā)展愿景。

 

圖片

 

本次論壇邀請了多位領(lǐng)域內(nèi)的頂尖專家進行專題報告。

 

加拿大多倫多大學(xué)(University of Toronto)醫(yī)學(xué)院張兆雷教授首先作了題為《Application of Genome Sequencing and Machine Learning in Cancer Evolution and Diagnosis》的報告,討論了基因組測序的最新進展,分享了在發(fā)現(xiàn)這些特征和生物標志物以及重建癌癥克隆史方面的強大計算算法,并以白血病和骨髓移植的特殊臨床病例為例進行討論。

 

 

必贏3003no1線路檢測中心附屬第五醫(yī)院主任醫(yī)師、博士生導(dǎo)師,脊柱外科主任呂海教授作了題為《人工智能輔助脊柱相關(guān)疾病診療的應(yīng)用》的主題報告,分享了人工智能技術(shù)在脊柱疾病診斷、關(guān)鍵解剖結(jié)構(gòu)區(qū)域的可視化方面和脊柱微創(chuàng)手術(shù)導(dǎo)航方面上展開的一系列研究。利用人工智能可有效解決脊柱疾病診療過程中存在影像診斷耗時且主觀差異性、影像引導(dǎo)穿刺難以精準到達病灶靶點位置等問題,并使得脊柱疾病的診療更個體化、精準化、微創(chuàng)化和智能化。

 

徐州醫(yī)科大學(xué)臨床醫(yī)學(xué)院腫瘤生物治療研究所董東教授分享了題為《Identification and functional implications of alternative splicing events in colorectal cancer》的主題報告,討論了選擇性剪接在癌癥發(fā)生和發(fā)展中的重要作用,分享了在采用長鏈測序技術(shù)方法研究癌癥的選擇性剪接復(fù)雜性等方面的最新研究成果,并強調(diào)了選擇性剪接事件在結(jié)直腸癌癌癥腫瘤發(fā)生中的重要性。

 

圖片

 

湖南大學(xué)信息科學(xué)與工程學(xué)院教授、博士生導(dǎo)師、湖南大學(xué)岳麓學(xué)者駱嘉偉教授分享了題為《面向轉(zhuǎn)錄組學(xué)數(shù)據(jù)的細胞與組織異質(zhì)性分析方法研究》的主題報告,探討了單細胞RNA測序技術(shù)和空間轉(zhuǎn)錄組學(xué)技術(shù)的最新發(fā)展,介紹了一種基于稀疏注意力的預(yù)訓(xùn)練微調(diào)模型scTrans,充分挖掘單細胞轉(zhuǎn)錄組中的基因表達信息以研究細胞間的異質(zhì)性。

 

圖片

 

美國伊利諾伊大學(xué)芝加哥分校(University of Illinois at ChicagoUIC)講席教授、IEEE/ACM Fellow Philip S. Yu教授作了題為《Geometric Deep Graph Learning: Exploring Opportunities in Different Geometric Spaces》的主題報告, 分享了圖神經(jīng)網(wǎng)絡(luò)在圖上學(xué)習(xí)、表示空間(如傳統(tǒng)的歐幾里德空間)中生成節(jié)點或圖嵌入的最新進展,深入探討各種幾何空間的迷人事實和性質(zhì),并討論了分類、聚類、對比學(xué)習(xí)、圖結(jié)構(gòu)學(xué)習(xí)和連續(xù)圖學(xué)習(xí)等任務(wù)以及在生物醫(yī)學(xué)領(lǐng)域的潛在應(yīng)用。

 

 

南方科技大學(xué)醫(yī)學(xué)院研究員、博士生導(dǎo)師,國家首批海外優(yōu)青、深圳市國家級領(lǐng)軍人才帥世民教授分享了題為《Decoding the Disease Ecosystem with Computational Omics》的主題報告,探討了疾病生態(tài)系統(tǒng)各個組成部分之間的多向相互作用及其對癌癥生物學(xué)的重要意義,并從三個方面系統(tǒng)地解碼了疾病生態(tài)系統(tǒng)。

 

 

此外,香港科技大學(xué)(廣州)謝思泓教授、澳門科技大學(xué)田晉宇副教授、必贏3003no1線路檢測中心附屬第五醫(yī)院唐彩華副主任、哈爾濱工業(yè)大學(xué)馬洪麗副研究員、湖南師范大學(xué)肖球副教授、西安電子科技大學(xué)張世雄副教授等與會嘉賓也分享了他們在人工智能和生物醫(yī)學(xué)領(lǐng)域的最新研究成果和實踐經(jīng)驗。

 

 

圖片

圖片

圖片

 

在互動環(huán)節(jié),與會者踴躍提問,與專家們進行了深入的探討與交流。大家紛紛表示,參加此次論壇不僅拓寬了視野與眼界,了解了人工智能和生物醫(yī)學(xué)領(lǐng)域的最新動態(tài),還結(jié)識了許多志同道合的同行,為未來的合作打下了堅實基礎(chǔ)。

 

圖片

圖片

 

活動第二個議程為參觀必贏3003no1線路檢測中心必贏3003no1線路檢測中心。與會人員了解了必贏3003no1線路檢測中心-招聯(lián)數(shù)字金融聯(lián)合研究中心廣東省區(qū)塊鏈工程技術(shù)研究中心、可信大模型研究中心等研究中心的最新科研進展和成果,并與學(xué)院各個項目團隊進行了深入的溝通和交流。

 

圖片

圖片

 

本次論壇在熱烈的掌聲中圓滿落幕。與會者普遍認為,此次活動為人工智能和生物醫(yī)學(xué)領(lǐng)域的研究與應(yīng)用,搭建了一個高水平的能與全球頂尖專家學(xué)者交流的平臺,分享了領(lǐng)域內(nèi)最新的研究進展和應(yīng)用案例,激發(fā)大家的創(chuàng)新思維,共同推動人工智能與生物醫(yī)療的深度融合與發(fā)展,推動了該領(lǐng)域的學(xué)術(shù)進步與技術(shù)創(chuàng)新。同時,本次活動的交流不僅加強了高校之間的聯(lián)系與合作,也為中國計算機學(xué)會與澳門高校之間的合作搭建了橋梁。

必贏3003no1線路檢測中心必贏3003no1線路檢測中心可信大模型研究中心博士后招聘啟事

1學(xué)院簡介

 

必贏3003no1線路檢測中心必贏3003no1線路檢測中心創(chuàng)辦于20206月,整建制位于必贏3003no1線路檢測中心三校區(qū)五校園的珠海校區(qū),學(xué)院以立德樹人為人才培養(yǎng)根本目標,充分發(fā)揮必贏3003no1線路檢測中心作為一所綜合性大學(xué)的學(xué)科優(yōu)勢,形成鮮明的研究型、復(fù)合型、創(chuàng)新型的高素質(zhì)人才培養(yǎng)特色。學(xué)院以面向世界科技前沿、面向經(jīng)濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康為基本導(dǎo)向開展科學(xué)研究。學(xué)院擁有優(yōu)越的科研條件和一流的軟硬件配套設(shè)施。擁有多種高性能服務(wù)器、工作站和充足的GPU計算資源,以及豐富的軟件資源。

 

圖片

必贏3003no1線路檢測中心珠海校區(qū)必贏3003no1線路檢測中心大樓 (來源:網(wǎng)絡(luò))

 

2學(xué)院發(fā)展

 

必贏3003no1線路檢測中心自成立以來,逐漸形成一支以青年優(yōu)秀教師為主力、氛圍活潑、交流融洽的人才隊伍。近年來,承擔(dān)及參與了多項國家級及省部級科研項目,包括國家重點研發(fā)計劃、國家自然科學(xué)基金項目、廣東省自然科學(xué)基金項目、廣東省科技項目等。

 

在產(chǎn)學(xué)研合作方面,學(xué)院與業(yè)界多家公司建立了密切的合作關(guān)系,包括華為、騰訊、微眾銀行、阿里巴巴、螞蟻集團、招聯(lián)金融、南方電網(wǎng)、浪潮、數(shù)字廣東等企業(yè),共同開展了一系列科研項目。

 

必贏3003no1線路檢測中心軟件工程專業(yè)是國家一流本科專業(yè)建設(shè)點,在2023年度CSRankings軟件工程子方向的排名中,位列全球第2位。

 

學(xué)院堅持國際化辦學(xué),大部分教師由海外知名大學(xué)引進,年齡結(jié)構(gòu)年輕化,研究團隊平均年齡低于35歲,所擅長領(lǐng)域緊跟學(xué)科發(fā)展前沿;并注重人才引育并舉,部分老師入選主流學(xué)會(IEEE、IET等)會士、ACM杰出科學(xué)家。學(xué)院倡導(dǎo)直接高效的辦事風(fēng)格,鼓勵科研團隊之間的相互合作,注重與海內(nèi)外著名高校的交流,聘有中科院院士、ACM Fellow、IEEE Fellow等相關(guān)領(lǐng)域知名專家學(xué)者為校外導(dǎo)師。

 

圖片

 

3可信大模型研究中心介紹

 

必贏3003no1線路檢測中心必贏3003no1線路檢測中心于20247月正式成立可信大模型研究中心,致力于研究和開發(fā)安全可信賴的人工智能大模型技術(shù)。研究中心重點圍繞大模型的可信技術(shù)問題開展研究,主要覆蓋幻覺消除、可控生成、模型可解釋性、魯棒性與可靠性、數(shù)據(jù)隱私與安全、自主可控基礎(chǔ)設(shè)施以及模型可信性評估等方面,以提升大模型的真實性、安全性、公平性、魯棒性和隱私性等指標,實現(xiàn)安全可靠、自主可控的人工智能技術(shù)發(fā)展。

 

4招聘崗位及申請條件

 

(一)基本申請條件:

1. 擁護中國共產(chǎn)黨的領(lǐng)導(dǎo),堅持正確的政治方向,遵守中華人民共和國憲法和法律,忠誠教育事業(yè),遵守學(xué)校的各項規(guī)章制度;

 

2. 具有良好的思想道德素質(zhì),有強烈的事業(yè)心和責(zé)任心;具有履行職責(zé)所需要的理論水平和專業(yè)知識,具有較強的技術(shù)能力、組織協(xié)調(diào)能力和團隊協(xié)作精神;

 

3. 要求具有人工智能、軟件工程、軟件安全、網(wǎng)絡(luò)空間安全、機器學(xué)習(xí)、自然語言處理、計算機視覺、機器人、數(shù)據(jù)挖掘等相關(guān)學(xué)科背景和科研經(jīng)驗;

 

4. 從事過以下方向研究并且具有相關(guān)領(lǐng)域國內(nèi)外頂級期刊與會議論文發(fā)表經(jīng)歷者優(yōu)先考慮:可信人工智能、大模型(如提示學(xué)習(xí)、基于圖和知識圖譜的增強檢索、價值微調(diào)與安全對齊等)、大模型智能體、機器人大模型、醫(yī)學(xué)大模型、人工智能模型評測、數(shù)據(jù)安全與隱私保護(如隱私攻擊、區(qū)塊鏈、聯(lián)邦學(xué)習(xí)、差分隱私、隱私推理、數(shù)據(jù)脫敏等)、數(shù)據(jù)治理(如數(shù)據(jù)復(fù)原、異常檢測、多源融合、模型魯棒性等)、對抗人工智能(如對抗/后門/投毒/越獄等攻擊與防御)、大模型的幻覺及消除、人工智能可解釋性、人工智能偏見與公平性等;

 

5. 聘期內(nèi)應(yīng)全職到崗并從事可信大模型相關(guān)領(lǐng)域的博士后研究工作。

 

(二)崗位申請條件:

1)博士后

1. 年齡在35歲以下,獲得博士學(xué)位不超過3年,熟悉高等教育規(guī)律,了解國內(nèi)外高等教育情況,具備國際化的學(xué)術(shù)視野,具備較高的學(xué)術(shù)水平和較強的科研能力的國內(nèi)外優(yōu)秀博士。

 

2)逸仙博士后

為大力吸引海內(nèi)外優(yōu)秀青年學(xué)者來我校從事博士后研究工作,推動博士后拔尖引育工作,我校設(shè)立逸仙博士后項目。

 

1. 具有良好的學(xué)術(shù)道德和創(chuàng)新能力、有一定科研積累和較大學(xué)術(shù)發(fā)展?jié)摿?,具有廣闊學(xué)術(shù)視野的優(yōu)秀青年人才。身心健康,年齡不超過35歲。

 

2. 有世界一流大學(xué)博士經(jīng)歷,或博士學(xué)位所屬學(xué)科為業(yè)內(nèi)公認的世界一流學(xué)科,申報時須在國內(nèi)外知名高校、研究機構(gòu)獲得博士學(xué)位不超過三年(以每批次申請截止日期為準)。應(yīng)屆博士畢業(yè)生在申報時須已滿足博士學(xué)位論文答辯的要求。已初步選定博士后合作導(dǎo)師,并與合作導(dǎo)師擬定博士后期間研究計劃。

 

3. 項目評選指標主要包括申請人的教育背景、學(xué)術(shù)能力、個人研究計劃水平、研究項目與擬申請進站招收單位、合作導(dǎo)師科研方面的契合度、推薦人評語、博士后合作導(dǎo)師對申請人進站申請方面的意見及承諾等。

 

4. 博新博士后項目根據(jù)各年度的博士后創(chuàng)新人才支持計劃項目通知要求及入選情況執(zhí)行;學(xué)校國際聯(lián)合培養(yǎng)博士后項目及博士后海外引才項目入選者可優(yōu)先推薦申請博優(yōu)博士后項目,具體根據(jù)學(xué)校各年度的通知要求及入選情況執(zhí)行。

 

5待遇標準

 

(一)薪酬待遇

1. 提供行業(yè)內(nèi)有競爭力的待遇,博士后參照必贏3003no1線路檢測中心關(guān)于博士后待遇的相關(guān)規(guī)章制度執(zhí)行,均含個人及單位五險一金。其中,必贏3003no1線路檢測中心逸仙博士后不低于50萬元/年(含五險二金),出站后可直接申請我校教學(xué)研究并重系列教師預(yù)聘職位,有足夠的成長空間和晉升機會。

 

(二)科研平臺

1. 學(xué)校將為獲選人員提供高水平的科研平臺和理想的工作環(huán)境,全方位支持獲選人員的各類科研項目申報。

2. 必贏3003no1線路檢測中心與可信大模型研究中心將為獲選人員提供事業(yè)發(fā)展所需要的科研支持;入站前/后,將積極推薦申報必贏3003no1線路檢測中心逸仙博士后、國家博新計劃、中國博士后科學(xué)基金、國家自然科學(xué)基金青年項目、廣東省海外博士后人才支持項目等。

 

(三) 保障政策

1. 有較強競爭力的薪酬待遇和校區(qū)補貼。

2. 提供有足夠的成長空間,出站后可申請教研系列預(yù)聘-長聘制崗位,按“PI”標準配置資源和精心培育,有足夠的成長空間和晉升長聘機會。

3. 學(xué)校學(xué)科種類多,科研平臺高,有利于學(xué)科交叉和開展高水平的研究工作。

4. 校園環(huán)境優(yōu)美,學(xué)術(shù)氛圍濃厚,行政效率高。

5. 有充足的辦學(xué)空間,能提供較好的辦公及科研用房條件;有充足的人才公寓,供博士后租住。

6. 10家實力雄厚的附屬醫(yī)院,可為人才提供高水準的醫(yī)療保障。

7. 各校區(qū)均有附屬中小學(xué),為博士后子女提供優(yōu)秀教育資源。

 

6申請材料及聯(lián)系方式

 

1.個人最新簡歷;

2.表明研究能力和學(xué)術(shù)水平的成果(如:獲獎情況、鑒定、項目、學(xué)術(shù)論文等)及佐證材料;

3.博士學(xué)位論文(如有)或代表性論文。

4.申請人將以上材料電子版發(fā)送至博士后招聘聯(lián)系人郵箱,附件和郵件主題均以可信大模型研究中心+博士后+姓名標明。

 

聯(lián)系人:劉名威老師

聯(lián)系電話:15221926558(微信同號)

郵箱:sserecruit@mail.sysu.edu.cn

地 址:廣東省珠海市唐家灣必贏3003no1線路檢測中心珠海校區(qū)公共實驗樓3

 

 

必贏3003no1線路檢測中心必贏3003no1線路檢測中心

竭誠歡迎海內(nèi)外優(yōu)秀博士!

以上崗位長期有效,

熱情期待您的加入!

深耕鄉(xiāng)土,再會豐陽——必贏3003no1線路檢測中心2024年暑期“三下鄉(xiāng)”暨“百千萬工程”突擊隊活動回顧

文章標題:深耕鄉(xiāng)土,再會豐陽——必贏3003no1線路檢測中心2024年暑期“三下鄉(xiāng)”暨“百千萬工程”突擊隊活動回顧

文章發(fā)布時間:2024年08月06日

文章內(nèi)容:(除去推送的格式,保留文字+圖片)(宋體 小四 1.5倍行距 首行縮進2格)

數(shù)字鄉(xiāng)村建設(shè)是鄉(xiāng)村振興的戰(zhàn)略方向,也是推進數(shù)字中國建設(shè)的重要內(nèi)容。2021年,《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要》提出“加快推進數(shù)字鄉(xiāng)村建設(shè)”,《“十四五”國家信息化規(guī)劃》將“數(shù)字鄉(xiāng)村發(fā)展行動”列為十大優(yōu)先行動之一,并做出明確部署。2023年中央一號文件提出,要深入實施數(shù)字鄉(xiāng)村發(fā)展行動,推動數(shù)字化應(yīng)用場景研發(fā)推廣。

 

為響應(yīng)中央一號文件號召,貫徹落實“十四五”規(guī)劃中對數(shù)字鄉(xiāng)村建設(shè)的明確要求,自2022年起,必贏3003no1線路檢測中心必贏3003no1線路檢測中心緊跟廣東青年“下鄉(xiāng)返鄉(xiāng)興鄉(xiāng)”的步伐,積極投身“百縣千鎮(zhèn)萬村高質(zhì)量發(fā)展工程”三年行動計劃。學(xué)院立足廣東地區(qū)實際,充分發(fā)揮專業(yè)優(yōu)勢,精心組織并成立了“數(shù)字鄉(xiāng)村”三下鄉(xiāng)實踐團,連續(xù)兩年深入廣東省清遠市連州市豐陽鎮(zhèn),圍繞“賦能數(shù)字經(jīng)濟,助力鄉(xiāng)村振興”的主題,開展了暑期“三下鄉(xiāng)”社會實踐活動暨廣東青年大學(xué)生“百千萬工程”突擊隊行動,為連州市豐陽鎮(zhèn)鄉(xiāng)村振興高質(zhì)量發(fā)展貢獻青春力量。

 

2024年7月15日,在學(xué)院黨委領(lǐng)導(dǎo)和團委指導(dǎo)下,必贏3003no1線路檢測中心實踐團再赴豐陽鎮(zhèn)開展“數(shù)字人電商直播”建設(shè)工作。本次三下鄉(xiāng)實踐團沿用了往年技術(shù)組、電商組和宣傳組三個小組的分組模式,共有26名學(xué)生參加。

 

圖片

▲軟工三下鄉(xiāng)實踐團在電商中心工作
 

▲軟工三下鄉(xiāng)實踐團在豐陽古村調(diào)研

 

前期準備

2024年1月,數(shù)字豐陽團隊召開中期工作會議,匯報“數(shù)字人”2.0版本的開發(fā)進度,技術(shù)組同學(xué)基本上利用GPT大語言模型、TTS(Text To Speech)文本轉(zhuǎn)語音、RAG技術(shù)、語音驅(qū)動數(shù)字人唇形等技術(shù)實現(xiàn)了數(shù)字人自動抓取彈幕并智能回答問題的功能。

 

圖片

▲中期匯報會議

 

2024年6月,學(xué)院黨委副書記藍澍德、可信大模型研究中心副主任陳文清助理教授帶領(lǐng)數(shù)字豐陽團隊參訪珠海華發(fā)數(shù)智技術(shù)有限公司和調(diào)研粵港澳跨境電商基地,開展AI數(shù)字人電商業(yè)務(wù)考察交流,為數(shù)字人2.0版本的技術(shù)迭代和應(yīng)用實踐尋求突破。

 

▲參訪珠海華發(fā)數(shù)智技術(shù)有限公司和調(diào)研粵港澳跨境電商基地

 

2024年6月28日,為了更好地規(guī)劃2024年暑期三下鄉(xiāng)活動,實踐團召開了動員大會。會上,林柱良老師向同學(xué)們介紹了本次活動的背景,并對實踐團近兩年的工作成果進行了簡單回顧。之后,實踐團總隊長、技術(shù)組組長弓志宏同學(xué)以簡單明快的語言為同學(xué)們解釋了何為數(shù)字人技術(shù)。最后,林柱良老師引導(dǎo)大家明確了今年的工作目標與活動安排,各小組也陸續(xù)完成了人員分工確定、小組工作策劃案提交等任務(wù),并參照本小組的工作安排為活動的開展進行了充分準備。

 

圖片

圖片

▲動員大會

 

技術(shù)組:技術(shù)革新,版本升級

技術(shù)組的同學(xué)們緊鑼密鼓地進行了2.0版本數(shù)字人的升級工作和直播技術(shù)方案的確定,旨在為大家?guī)砀颖普娴臄?shù)字人直播效果與互動性更強的直播體驗。

 

小組成員們首先將數(shù)字人原型——必贏3003no1線路檢測中心2022級黃佳偉同學(xué)的照片放入3D角色建模軟件Character Creator,并使用游戲引擎UNREAL ENGINE的METAHUMAN功能,制作出3D數(shù)字人“黃小偉”。然后采用GPT大語言模型、TTS(Text To Speech)文本轉(zhuǎn)語音、使用RAG技術(shù)生成彈幕回答、語音驅(qū)動數(shù)字人唇形等技術(shù),借鑒Fay數(shù)字人開源項目,從而實現(xiàn)人機交互、數(shù)字人直播帶貨。

 

圖片

圖片

 

相較于上個版本的數(shù)字人,今年實踐團推出的2.0版本數(shù)字人新增了全自動彈幕回答功能,彈幕上的每一個問題,都能得到即時、精準的回應(yīng),使得直播互動體驗全面升級。技術(shù)組還通過真人音頻訓(xùn)練的文本轉(zhuǎn)語音模型,讓黃小偉的聲音更加自然、親切,仿佛真人就在身邊。除此之外,技術(shù)組還使用了RAG技術(shù),結(jié)合大數(shù)據(jù)檢索與高級語言模型,確保信息檢索的準確性與回答的相關(guān)性,為彈幕提供最優(yōu)質(zhì)的回答內(nèi)容。

 

宣傳組:創(chuàng)意無限,腦洞大開

在小組成員的一致參與下,宣傳組逐步確定了活動回顧總視頻的拍攝思路與具體拍攝腳本,并且針對如何制作出既吸引眼球又富有創(chuàng)意的宣傳預(yù)熱視頻和推文進行了熱烈討論。在討論中,同學(xué)們紛紛腦洞大開,積極提出自己的想法與建議,力爭為本次活動帶來最好的宣傳效果。

 

電商組:流程優(yōu)化,多次彩演

電商組的同學(xué)們在觀摩類似直播后確定了本次直播的整體流程,并進行了臺前幕后的人員安排。為了給觀眾朋友們帶來完整流暢、充滿互動與驚喜的直播體驗,在活動正式開始前,他們組織了多場直播彩排工作,只為在鏡頭前呈現(xiàn)最好的直播效果。

 

圖片

 

抵達豐陽

 DAY1 

經(jīng)過前期的充分準備,2024年7月15日上午,實踐團乘坐大巴車從珠海出發(fā),正式開始了為期三天的三下鄉(xiāng)實踐活動。一抵達豐陽,實踐團成員們便積極地開展了相關(guān)調(diào)研工作。同學(xué)們首先前往連州市豐陽鎮(zhèn)電子商務(wù)中心,共同觀看學(xué)習(xí)了多個豐陽鎮(zhèn)官方宣傳視頻。從繪聲繪色的視頻中,我們了解到豐陽是一個歷史悠久、物資阜盛的小鎮(zhèn)。千年歷史的濯洗給后世留下了諸多財富:從讓牛肉干變得美味的秘方,到能耕種出稻米、紅薯、水晶梨等農(nóng)作物的富硒沃土,再到加工它們的技法。豐陽牛肉干、大富頭馬蹄、豐陽沙糖桔......各種特色產(chǎn)品應(yīng)接不暇。

 

圖片

▲在豐陽電子商務(wù)中心合影

 

為了將這些優(yōu)質(zhì)產(chǎn)品帶出豐陽鎮(zhèn),讓它們走進千家萬戶,同學(xué)們立即開始著手準備宣傳預(yù)熱視頻的拍攝與推文的制作,從而吸引更多人關(guān)注連州市豐陽鎮(zhèn),參與到助農(nóng)直播中來。電商組的同學(xué)們以青春洋溢的面貌,投入到幽默風(fēng)趣的小短劇拍攝中;技術(shù)組的同學(xué)們用代碼和算法構(gòu)建起鮮活的“生命”,讓數(shù)字人在現(xiàn)實世界中綻放光彩;宣傳組的同學(xué)們將繽紛的創(chuàng)意繪制到海報上、書寫在預(yù)熱推文里……在緊張繁忙的工作中,活動的第一天落下帷幕。

 

圖片

 

圖片

 

 DAY2 參觀豐陽牛肉干制作過程

第二天早晨,實踐團來到豐陽牛肉干市場參觀牛肉干的制作過程。經(jīng)過切塊、熏烤的牛肉干色香味俱全,作為豐陽鎮(zhèn)的金字招牌,它不但富有連州飲食特色,更蘊含著千年的文化韻味。近年來,在中大師生的助力下,豐陽牛肉干的非遺化與產(chǎn)業(yè)化程度大大提升,也為當?shù)卮迕袂瞄_了增收致富的大門。

 

圖片

圖片

▲豐陽特色牛肉干制作

 

直播彩排

為了確保正式直播的順利進行,回到電商中心后,同學(xué)們便馬不停蹄地開始了直播相關(guān)準備。電商組的同學(xué)們認真練習(xí)臺詞,不斷優(yōu)化直播流程,讓直播在達成宣傳效果的同時又不失幽默風(fēng)趣;宣傳組的同學(xué)們剪輯視頻、編寫文案,為直播間的宣傳盡心盡力;技術(shù)組的同學(xué)們調(diào)試設(shè)備,并對本次直播的最大亮點——“數(shù)字人”進行最后測試,為直播的進行提供了堅實可靠的技術(shù)保證。

 

▲直播彩排

 

直播實踐

一切準備就緒,2024年7月16日晚7:30,軟工三下鄉(xiāng)實踐團的助農(nóng)直播帶貨準時開始!

 

電商組的同學(xué)們早已做好充分準備,流暢地展示了各類產(chǎn)品:從晶瑩剔透的水晶梨到清香四溢的南嶺野生茶,再到滿載回憶的豐陽農(nóng)家水煮花生、富有嚼勁的手工紅薯干、色彩斑斕的柯沐灣果蔬面,以及健康美味的絲苗香米和新鮮馬蹄套裝,每一款產(chǎn)品的亮點都被精心呈現(xiàn)。

 

新上任的“主播們”在鏡頭前熟練地推介產(chǎn)品,細致地描述其口感;虛擬數(shù)字人主播“黃小偉”與同學(xué)們默契配合,幽默風(fēng)趣的語調(diào)讓直播間充滿輕松快樂的氛圍,吸引了眾多觀眾前來觀看,使直播熱度得到進一步提升。

 

圖片

圖片

 

鏡頭外,其他小組的同學(xué)各司其職,緊密協(xié)作:宣傳組實時記錄直播過程,技術(shù)組精心調(diào)試設(shè)備,共同保障直播的順利進行。

 

直播的最后,同學(xué)們依次登場謝幕,軟工三下鄉(xiāng)電商直播到此圓滿結(jié)束。必贏3003no1線路檢測中心2024年三下鄉(xiāng)實踐團在豐陽鎮(zhèn)的助農(nóng)直播總計吸引了1331人次觀看,同時在線人數(shù)最高達到122人,成交金額達到2068元,直播效果獲得了當?shù)厝罕姷囊恢抡J可。

 

圖片

圖片

 

DAY3調(diào)研豐陽古村

第三天,在當?shù)毓ぷ魅藛T的帶領(lǐng)下,實踐團走進豐陽古村,聆聽千年古戲臺、豐溪古廟悠久厚重的歷史,感受一磚一瓦間蘊含的歷史底蘊,在豐陽村史館了解豐陽村的風(fēng)土人情和昨日今朝。歷經(jīng)歲月的沖刷,這個三萬多人的小鎮(zhèn)散發(fā)著獨特魅力:環(huán)繞小鎮(zhèn)的青山碧水、古色古香的樓房、淳樸的人民......無一不深深打動著遠道而來的同學(xué)們。目前,豐陽鎮(zhèn)政府正圍繞“四色豐陽”的整體規(guī)劃,全力推進全域旅游發(fā)展。在“百千萬工程”的有力推動下,這座享有“一間古廟、兩條古街、三間祠堂、四座門樓”之美譽的千年古村,正煥發(fā)著前所未有的活力與生機。

 

圖片

圖片

 

參觀畔水村和漁晟農(nóng)業(yè)科技園區(qū)

在對豐陽古村進行簡單調(diào)研后,同學(xué)們乘坐大巴前往本次豐陽之旅的最后一站——漁晟農(nóng)業(yè)科技園。在園區(qū)經(jīng)理的介紹下,我們對園區(qū)集立體種養(yǎng)殖、建設(shè)高標農(nóng)田(稻漁混養(yǎng)示范基地)、科普教育、綜合田園體驗、鄉(xiāng)村休閑旅游、特種水產(chǎn)及農(nóng)副產(chǎn)品生產(chǎn)及加工、銷售、等一二三產(chǎn)融合發(fā)展的運行模式有了簡單了解。之后,我們參觀了緊鄰園區(qū)的廣東省級古村落——畔水村。畔水村三面環(huán)水,兩條從太歲山潺潺流下的溪流將其環(huán)繞,狀如一艘航行的木船,故有“船形畔水”之名。

 

如今的畔水村是一座名副其實的“古韻新村”:鄉(xiāng)村大道整潔優(yōu)美,文化休閑公園風(fēng)景宜人,廣場健身設(shè)施齊全,涼亭湖畔獨具特色。此番實地調(diào)研加深了實踐團的老師和同學(xué)們對豐陽的認識,讓我們在了解當?shù)仫L(fēng)土人情的同時,感受到這座走在振興道路上的小鎮(zhèn)的勃勃生機。

 

圖片

▲參觀畔水村

 

軟工2024年三下鄉(xiāng)實踐團成員名單

帶隊老師及隊長:

指導(dǎo)老師:藍澍德、陳文清、林柱良、周玉婷

總隊長:陳嘉霓、弓志宏

技術(shù)組成員:

組長:弓志宏、胡城

組員:李逸城、羅碧文、魏桂鵬、陳怡帆、江婷、梁竟冀、潘李麒、蘇東鵬、張梓瑩

圖片

電商組成員:

組長:吳欣曄、周意

組員:汪薇、袁子溪、李豐形、黃妍、楊凱宇、施可欣、楊佳樂、陳奕靜、郭佳鑫、駱明智、陳星言、 梁水飛、蘇玥、呂洪志

圖片

宣傳組成員:

組長:羅政杰、陳奕含

組員:汪俊、吳悅、李鑫玉、馮健恒、陳星言

 

2024年7月17日,必贏3003no1線路檢測中心必贏3003no1線路檢測中心暑期“三下鄉(xiāng)”社會實踐活動圓滿結(jié)束?;顒訃@“數(shù)字人電商直播”主題,參考傳統(tǒng)直播流程,運用技術(shù)手段加以創(chuàng)新,成功實現(xiàn)了數(shù)字人24小時直播,顯著提升了數(shù)字人直播帶貨的用戶交互體驗,并在積累往年直播經(jīng)驗的基礎(chǔ)上總結(jié)出了更加成熟的直播方案。本次直播收益較往年穩(wěn)定提升,通過宣傳視頻的拍攝與推文的制作,在一定程度上提高了“豐陽優(yōu)品”直播視頻號的知名度與曝光度,為豐陽鎮(zhèn)打造特色鄉(xiāng)村電商平臺提供了積極思路。

 

2024年暑期“三下鄉(xiāng)”活動已告一段落,但我們與豐陽的故事未完待續(xù)。未來,軟工學(xué)子將繼續(xù)凝練項目成果,打造項目特色。運用所學(xué)專業(yè)知識與技能助力清遠豐陽打造數(shù)字化電商中心,為鄉(xiāng)村數(shù)字經(jīng)濟的發(fā)展注入新鮮的思維和動力。豐陽,我們下次再見!

訂閱