《電子技術(shù)應(yīng)用》
您所在的位置：首頁 > 其他 > 設(shè)計(jì)應(yīng)用 > 基于大模型上下文學(xué)習(xí)的未知意圖識(shí)別方法
基于大模型上下文學(xué)習(xí)的未知意圖識(shí)別方法
網(wǎng)絡(luò)安全與數(shù)據(jù)治理
孫顥原1，劉瑩君2，于莉娜2，紀(jì)濤2，張圳錫1,吳繼冰1
1.國(guó)防科技大學(xué)大數(shù)據(jù)與決策國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室; 2.智能空間信息國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室
摘要： 面對(duì)現(xiàn)代化戰(zhàn)爭(zhēng)的復(fù)雜態(tài)勢(shì)，精準(zhǔn)的意圖識(shí)別技術(shù)可實(shí)現(xiàn)對(duì)指揮人員需求的高效理解與精準(zhǔn)捕捉，提升決策準(zhǔn)確率和敏捷性?，F(xiàn)有意圖識(shí)別方法通常需要大量人工標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，帶來了高昂的成本，并且對(duì)于新意圖的識(shí)別效果較差。為此，提出了基于大語言模型(Large Language Models，LLMs)上下文學(xué)習(xí)的創(chuàng)新解決辦法，充分利用大模型的通用語言能力和指令遵循能力，僅需使用少量樣本并無需訓(xùn)練，便可完成已知意圖識(shí)別與新意圖發(fā)現(xiàn)任務(wù)，為意圖識(shí)別提供了一種新型高效的解決方案。
中圖分類號(hào)：TP181.132文獻(xiàn)標(biāo)識(shí)碼：ADOI:10.19358/j.issn.2097-1788.2025.11.007引用格式：孫顥原，劉瑩君，于莉娜,等. 基于大模型上下文學(xué)習(xí)的未知意圖識(shí)別方法［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（11）：38-44.
Intent recognition method based on incontext learning of large language models
Sun Haoyuan1, Liu Yingjun2，Yu Lina2,Ji Tao2，Zhang Zhenxi1, Wu Jibing1
1. National Key Laboratory of Big Data and Decision, National University of Defense Technology; 2. National Key Laboratory of Intelligent Geospatial Information
Abstract： In the face of the complex situation of modern warfare, accurate intent recognition technology can achieve efficient understanding and precise capture of commanders′ needs, thereby enhancing the accuracy and agility of military decision-making. Existing intent recognition methods typically require large amounts of manually annotated data for training, which incurs high costs and performs poorly in recognizing novel intents. To address these issues, this paper proposes an innovative solution based on large language models (LLMs) and their in-context learning capability. By leveraging the general language understanding and instruction-following abilities of LLMs, the proposed approach can accomplish both known intent recognition and novel intent discovery tasks using only a small number of examples without requiring additional training, thus offering a new and efficient solution for intent recognition.
Key words : large language model; incontext learning; prompt engineering；intent recognition

引言

自然語言處理(Natural Language Processing，NLP)是人工智能的重點(diǎn)研究方向，其研究目標(biāo)是賦予計(jì)算機(jī)理解、解析及生成人類語言的能力，是實(shí)現(xiàn)人機(jī)自然交互的關(guān)鍵技術(shù)。早期 NLP 研究主要依賴規(guī)則系統(tǒng)與統(tǒng)計(jì)方法，隨著深度學(xué)習(xí)技術(shù)的興起，逐步發(fā)展為基于神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)范式，而當(dāng)前大規(guī)模預(yù)訓(xùn)練語言模型已成為該領(lǐng)域的主流研究方向［1-2］。這一系列技術(shù)演進(jìn)推動(dòng)了智能客服、搜索引擎、智能助手等應(yīng)用的廣泛落地，顯著革新了人機(jī)交互模式［3-5］。

在 NLP 的諸多任務(wù)中，意圖識(shí)別是對(duì)話系統(tǒng)的基礎(chǔ)環(huán)節(jié)［6］。意圖識(shí)別旨在確定用戶輸入的文字中所蘊(yùn)含的意圖或目的，即對(duì)用戶的話語進(jìn)行語義理解，以便更好地回答用戶的問題或提供相關(guān)的服務(wù)。然而，意圖識(shí)別通常面臨著一系列問題的挑戰(zhàn)，包括用戶語言表達(dá)的易混淆性、意圖在不同上下文語境中的差異性以及持續(xù)出現(xiàn)的新意圖等。

研究人員針對(duì)意圖識(shí)別問題開展了大量的研究，主要集中在傳統(tǒng)機(jī)器學(xué)習(xí)方法［4］、深度學(xué)習(xí)方法［2，7］與基于大模型的意圖識(shí)別方法。傳統(tǒng)機(jī)器學(xué)習(xí)方法如支持向量機(jī)(Support Vector Machine, SVM)、條件隨機(jī)場(chǎng)(Conditional Random Field, CRF)等依賴人工特征工程，難以有效捕捉復(fù)雜的語義關(guān)系。深度學(xué)習(xí)方法主要包括基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)（如長(zhǎng)短期記憶網(wǎng)絡(luò)）、 Transformer模型的方法。盡管這些方法在特征自動(dòng)提取方面展現(xiàn)出顯著優(yōu)勢(shì)，但仍面臨標(biāo)注數(shù)據(jù)依賴性強(qiáng)［8］、上下文建模能力不足［9］、領(lǐng)域遷移適應(yīng)性弱［5］及跨語言場(chǎng)景泛化能力有限［6］等挑戰(zhàn)。

近年來，意圖識(shí)別方法逐漸成為研究熱點(diǎn)［10］?，F(xiàn)有工作通常提前設(shè)定好所有可能的意圖類別，模型在這些預(yù)設(shè)的類別中進(jìn)行識(shí)別。然而，在開放環(huán)境下，模型需要應(yīng)對(duì)持續(xù)出現(xiàn)的新意圖類別帶來的挑戰(zhàn)。在預(yù)訓(xùn)練模型時(shí)代，Nogueira等人［11］的研究具有標(biāo)志性意義，他們系統(tǒng)論證了上下文詞嵌入對(duì)意圖表征的增強(qiáng)作用。隨后，Zhang等人［12］針對(duì)開放世界假設(shè)下的意圖識(shí)別問題，提出了基于深度語義特征空間的自適應(yīng)決策邊界算法，實(shí)現(xiàn)了已知與未知意圖的有效區(qū)分［13］。隨著大語言模型在動(dòng)態(tài)提示工程與自主推理方面的進(jìn)展，基于智能體架構(gòu)的意圖發(fā)現(xiàn)方法開始涌現(xiàn)，初步驗(yàn)證了其在開放域場(chǎng)景下的有效性［14］。隨后Cheng等人［15］構(gòu)建了交互意圖基準(zhǔn)，訓(xùn)練出可主動(dòng)評(píng)估任務(wù)模糊性、與用戶交互以明確意圖的模型，從而明確輸入意圖，進(jìn)而提升識(shí)別的準(zhǔn)確性與系統(tǒng)交互性。然而，這些方法的有效性通常依賴于大量標(biāo)記數(shù)據(jù)和多階段訓(xùn)練，實(shí)現(xiàn)此類方法需要人類專家注釋來完成定義相關(guān)意圖的挑戰(zhàn)性任務(wù)。

面對(duì)傳統(tǒng)意圖識(shí)別方法依賴大量標(biāo)注數(shù)據(jù)、難以適應(yīng)開放環(huán)境下新意圖涌現(xiàn)等問題，本文提出基于大語言模型的意圖識(shí)別方法AutoIntent，可在少樣本條件下有效識(shí)別不斷出現(xiàn)的新意圖。本文主要貢獻(xiàn)包括：

(1)提出基于上下文學(xué)習(xí)的大模型意圖識(shí)別框架AutoIntent，借助提示詞構(gòu)建與意圖反饋機(jī)制，實(shí)現(xiàn)在少樣本下高效靈活的意圖識(shí)別；

(2)在意圖發(fā)現(xiàn)對(duì)比實(shí)驗(yàn)的常用數(shù)據(jù)集上，將AutoIntent與領(lǐng)域內(nèi)最新方法展開對(duì)比，結(jié)果顯示出AutoIntent在意圖發(fā)現(xiàn)任務(wù)上的優(yōu)勢(shì)；

(3)針對(duì)意圖識(shí)別任務(wù)構(gòu)建了復(fù)雜度更高的評(píng)測(cè)數(shù)據(jù)集并開展驗(yàn)證，實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了AutoIntent在復(fù)雜場(chǎng)景下的有效性。


本文詳細(xì)內(nèi)容請(qǐng)下載：

http://www.ihrv.cn/resource/share/2000006860


作者信息：

孫顥原1，劉瑩君2，于莉娜2，紀(jì)濤2，張圳錫1,吳繼冰1

(1.國(guó)防科技大學(xué)大數(shù)據(jù)與決策國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，湖南長(zhǎng)沙410073;

2.智能空間信息國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，北京100029)


subscribe.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。