面向行業(yè)信息抽取的大模型知識蒸餾技術(shù)
所屬分類：技術(shù)論文
上傳者：wwei
文檔大?。?span>1504 K
標簽： 大模型 知識蒸餾 信息抽取
所需積分：0分積分不夠怎么辦？
文檔介紹：面對某行業(yè)信息文本多樣性、模糊性、規(guī)模性和復雜性所帶來的實時性、準確性和算力資源挑戰(zhàn)，設計了一種面向某行業(yè)信息抽取的大模型知識蒸餾技術(shù)。該方法采用大模型作為Teacher，小模型作為Student，首先通過設計和優(yōu)化提示詞模板引導Teacher模型生成標注數(shù)據(jù)集，其次基于生成的行業(yè)信息文本句式，并結(jié)合標注數(shù)據(jù)集與行業(yè)知識庫來增強數(shù)據(jù)集，最后基于LoRA微調(diào)技術(shù)在增強數(shù)據(jù)集上訓練Student模型。實驗結(jié)果表明，本文算法不僅能有效提升Student模型在行業(yè)信息文本抽取任務中的性能，使其具備與Teacher模型接近的精確率與召回率，同時能顯著降低模型部署的成本和復雜度，在資源受限的行業(yè)環(huán)境下帶來更多優(yōu)勢和價值。
現(xiàn)在下載
VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。