《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 人工智能 > 设计应用 > 面向机器学习建模的数据治理技术路径研究
面向机器学习建模的数据治理技术路径研究
网络安全与数据治理
李彦泽1,郭超2,孙旭明2,母东杰2
1.北京百分点科技集团股份有限公司; 2.中国电子产业工程有限公司
摘要: 随着人工智能和机器学习技术的快速发展,数据质量已成为提升模型性能和可靠性的核心因素。特别是在不同类型机器学习模型的应用中,如何有效地实施数据治理以提升数据质量、稳定性和公平性,仍然是一个亟待解决的问题。综述了数据治理在机器学习建模中的关键作用,提出了一套系统性的数据治理框架,涵盖数据采集、处理、标注、模型训练等全过程,旨在提供切实可行的治理方案以支撑机器学习应用。该框架强调在不同阶段采用针对性的技术措施,确保数据治理的有效性,从而促进数据质量的提升和模型的可解释性、稳定性及公平性的保障。本研究为数据治理在机器学习中的深入应用提供了理论基础,并为后续的技术实践和创新提供了指导。
中圖分類(lèi)號(hào):TP18.4文獻(xiàn)標(biāo)識(shí)碼:ADOI:10.19358/j.issn.2097-1788.2025.03.011
引用格式:李彥澤,郭超,孫旭明,等. 面向機(jī)器學(xué)習(xí)建模的數(shù)據(jù)治理技術(shù)路徑研究[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2025,44(3):63-70.
Data governance technical process for machine learning modeling
Li Yanze1, Guo Chao2, Sun Xuming2, Mu Dongjie2
1. Beijing PERCENT Technology Group Co., Ltd.; 2. China Electronics Industry Engineering Co., Ltd.
Abstract: With the rapid development of artificial intelligence and machine learning technologies, ensuring data quality has become a core factor in enhancing model performance and reliability. Particularly in the application of different types of machine learning models, how to effectively implement data governance to improve data quality, stability, and fairness remains an urgent issue to be addressed. This paper reviews the critical role of data governance in machine learning modeling and proposes a systematic data governance framework, covering the entire process from data collection, processing, and annotation to model training. The framework aims to provide practical governance solutions to support machine learning applications. It emphasizes the adoption of targeted technical measures at different stages to ensure the effectiveness of data governance, thereby enhancing data quality and ensuring model interpretability, stability, and fairness. This research provides a theoretical foundation for the in-depth application of data governance in machine learning and offers guidance for subsequent technical practices and innovations.
Key words : data governance; machine learning; artificial intelligence; architecture; data management; model training

引言

當(dāng)前,人工智能(AI)和機(jī)器學(xué)習(xí)(ML)已廣泛應(yīng)用于語(yǔ)音技術(shù)、醫(yī)療研發(fā)、自動(dòng)駕駛等多個(gè)日常生活領(lǐng)域。AI的核心構(gòu)成是算法、數(shù)據(jù)和基礎(chǔ)設(shè)施三者的有機(jī)結(jié)合[1]。單純依靠算法優(yōu)化和硬件性能提升不足以推動(dòng)AI的發(fā)展,更需高質(zhì)量數(shù)據(jù)集的支撐。關(guān)于如何優(yōu)化數(shù)據(jù)處理和治理過(guò)程,大部分研究集中于標(biāo)注質(zhì)量的提升、數(shù)據(jù)集的構(gòu)建及優(yōu)化、模型評(píng)估等方面,缺乏系統(tǒng)化的技術(shù)路徑和全面的解決方案。尤其是在面對(duì)不同類(lèi)型的機(jī)器學(xué)習(xí)模型(如監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等)時(shí),如何提升數(shù)據(jù)質(zhì)量和模型的穩(wěn)定性、可解釋性以及公平性,仍然是一個(gè)亟待解決的問(wèn)題。

本文綜合現(xiàn)有研究成果,提出了一套系統(tǒng)性的數(shù)據(jù)治理框架,結(jié)合機(jī)器學(xué)習(xí)建模需求,從數(shù)據(jù)采集、處理、標(biāo)注到模型訓(xùn)練的全過(guò)程中提供可操作的治理方案,推動(dòng)數(shù)據(jù)治理在機(jī)器學(xué)習(xí)應(yīng)用中的深入實(shí)施。


本文詳細(xì)內(nèi)容請(qǐng)下載:

http://www.ihrv.cn/resource/share/2000006380


作者信息:

李彥澤1,郭超2,孫旭明2,母東杰2

(1.北京百分點(diǎn)科技集團(tuán)股份有限公司,北京100096;

2.中國(guó)電子產(chǎn)業(yè)工程有限公司,北京100036)


Magazine.Subscription.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。