摘  要： 討論了軟件度量的數(shù)據(jù)過(guò)濾和回歸分析問(wèn)題，提出了一種用盒式圖進(jìn)行數(shù)據(jù)過(guò)濾，再用回歸分析得出線性回歸直線的算法。
關(guān)鍵詞： 軟件度量；數(shù)據(jù)清洗；回歸分析；盒式圖

    軟件度量是對(duì)軟件開(kāi)發(fā)項(xiàng)目、過(guò)程及其產(chǎn)品進(jìn)行數(shù)據(jù)定義、收集以及分析的持續(xù)性定量化過(guò)程，目的在于對(duì)此加以理解、預(yù)測(cè)、評(píng)估、控制和改善，從而保證軟件開(kāi)發(fā)中的高效率、低成本、高質(zhì)量[1]。但是，得到正確的度量只是測(cè)量程序的一部分。軟件質(zhì)量是與所收集和分析的數(shù)據(jù)質(zhì)量密切相關(guān)的，數(shù)據(jù)清洗過(guò)程的目的就是要解決“臟數(shù)據(jù)”的問(wèn)題。數(shù)據(jù)清洗是指去除或修補(bǔ)源數(shù)據(jù)中的不完整、不一致、含噪聲的數(shù)據(jù)。在源數(shù)據(jù)中，可能由于疏忽、懶惰，甚至為了保密使系統(tǒng)設(shè)計(jì)人員無(wú)法得到某些數(shù)據(jù)項(xiàng)的數(shù)據(jù)[2]。根據(jù)決策系統(tǒng)中“garbage in garbage out”(如果輸入的分析數(shù)據(jù)是垃圾則輸出的分析結(jié)果也將是垃圾)原理，必須處理這些噪聲數(shù)據(jù)。去掉噪聲平滑數(shù)據(jù)的技術(shù)主要有分箱(binning)、聚類(lèi)(clustering)、回歸(regression)等[3]。本文在回歸分析的基礎(chǔ)上，加入了盒形圖進(jìn)行數(shù)據(jù)過(guò)濾，從而得出一條線性回歸直線，使模式或者關(guān)系變得更加明顯，從而用這些模式和關(guān)系對(duì)測(cè)量的屬性作出判斷。
1 盒形圖和回歸分析簡(jiǎn)介
1.1 盒形圖
    該方法可以描述數(shù)據(jù)集取值范圍的情況，展示數(shù)據(jù)主要聚集的區(qū)域，發(fā)現(xiàn)離群數(shù)據(jù)可能的位置，以便于對(duì)離群數(shù)據(jù)進(jìn)行處理。盒形圖顯示一個(gè)變量的信息，如對(duì)相同CMM等級(jí)的不同項(xiàng)目完成每個(gè)FP的工作量分析，根據(jù)中位數(shù)m、上四分位數(shù)u、下四分位數(shù)l、盒長(zhǎng)d、和尾(tail)來(lái)分析。
    中位數(shù)是在數(shù)據(jù)集中排列居中的項(xiàng)。也就是說(shuō)，如果中位數(shù)取值為m，則數(shù)據(jù)集中有一半的值大于m，一半的值小于m。將所有數(shù)值按大小順序排列并分成四等份，處于三個(gè)分割點(diǎn)位置的得分就是四分位數(shù)。最小的四分位數(shù)稱(chēng)為下四分位數(shù)l，所有數(shù)值中，有四分之一小于下四分位數(shù)，四分之三大于下四分位數(shù)。中點(diǎn)位置的四分位數(shù)就是中位數(shù)。最大的四分位數(shù)稱(chēng)為上四分位數(shù)u，所有數(shù)值中，有四分之三小于上四分位數(shù)，四分之一大于上四分位數(shù)。也有叫第25百分位數(shù)、第75百分位數(shù)的。將上四分位數(shù)和下四分位數(shù)的距離定義為盒長(zhǎng)d，因此，d=u-l。接下來(lái)定義分布的尾(tail)。理論上，上尾值點(diǎn)為u+1.5d，下尾值為u-1.5d，這些值必須進(jìn)行舍位處理，以接近真實(shí)數(shù)據(jù)，位于上尾和下尾之外的值稱(chēng)為離群值。
1.2 回歸分析方法
    回歸分析方法是研究要素之間具體數(shù)量關(guān)系的強(qiáng)有力的工具，運(yùn)用這種方法能夠建立反映要素之間具體的數(shù)量關(guān)系的數(shù)學(xué)模型，即回歸模型。線性回歸技術(shù)的基礎(chǔ)就是散點(diǎn)圖。將每個(gè)屬性對(duì)表示為一個(gè)數(shù)據(jù)點(diǎn)(x，y)，然后用回歸技術(shù)計(jì)算出能夠最好地?cái)M合這些點(diǎn)的直線。目標(biāo)是將屬性y(因變量)根據(jù)屬性x(自變量)表示為等式：y=a+bx。
    線性回歸的理論是從每個(gè)點(diǎn)垂直向上或向下畫(huà)一條線段到趨勢(shì)直線，表示從數(shù)據(jù)點(diǎn)到趨勢(shì)直線的垂直距離。在某種意義上，這些線段的長(zhǎng)度表示數(shù)據(jù)和直線的差異，且這種差異應(yīng)盡可能地小。因此，“最佳擬合”的直線式是指使該距離最小的直線。
    在數(shù)學(xué)上要計(jì)算“最佳擬合”直線的斜率b和截距a是很簡(jiǎn)單的。每個(gè)點(diǎn)的差異稱(chēng)為殘差，生成線性回歸直線的公式是殘差的平方和達(dá)到最小?？梢詫⒚總€(gè)數(shù)據(jù)點(diǎn)的殘差表示為：
   
2 算法實(shí)現(xiàn)
    在進(jìn)行數(shù)據(jù)清洗時(shí)，由于數(shù)據(jù)是無(wú)序輸入的，所以先對(duì)其排序，再用盒形圖法行數(shù)據(jù)清洗。以下是偽代碼：
    void BubbleSort(double m，double q，int n)  //先對(duì)輸入
//的數(shù)據(jù)進(jìn)行冒泡排序，并相應(yīng)修改
//第二組數(shù)據(jù)的順序，以保證它們之間的對(duì)應(yīng)關(guān)系
    {    for(int i=0；i<n；i++)
　　           for(int j=n-1；j>i；j--)
　　           {
　　            輸入數(shù)據(jù)的排序
　　          修改第二組數(shù)據(jù)
　　           }
    }
    void box(double *m，double *q，int &n) //盒形法篩選
//掉離群項(xiàng)目工作量數(shù)據(jù)，n為輸入數(shù)據(jù)個(gè)數(shù)，m、q為指針
    {
      double a，b，c，top，bottom，l；  //上分位a，中位數(shù)b，//下分位c
　　      if(n%2==0)  //計(jì)算出3個(gè)四分位數(shù)
　　      {
　　         b=(*(m+n/2)+*(m+n/2-1))/2；  //數(shù)據(jù)個(gè)數(shù)為
//偶數(shù)時(shí)，中位數(shù)取中間兩數(shù)的平均值
　　         a=*(m+n/4)；
　　         c=*(m+3*n/4)；   }
    }
　　    else
　　    {   b=*(m+n/2)；
　　        a=*(m+n/4)；
　　        c=*(m+3*n/4)；   }
      l=c-a； top=c+1.5*l；bottom=c-1.5*l；  //計(jì)算出盒
//長(zhǎng)，上尾數(shù)，下尾數(shù)
      if(bottom<0) bottom=m；  //并進(jìn)行必要的舍位處理
　　      int j=n；
　　      for(int i=0；i<j；i++)  //判斷是否為離群值，
      {
　　         if(*(m+i)>top‖*(m+i)<bottom)        
　　         如有，將其從數(shù)組中剔去
      }
    }
    接下來(lái)要對(duì)篩選出來(lái)的數(shù)據(jù)進(jìn)行回歸分析，從而得到一個(gè)數(shù)據(jù)模型。
    void regress(double* m，double* q，int n)   //對(duì)數(shù)組
//m和數(shù)據(jù)q的數(shù)據(jù)用線性回歸法進(jìn)行擬合
//并用一條直線表示出它們之間的對(duì)應(yīng)關(guān)系
    {  double average_m，average_q，total_m，total_q，L_mq，L_mm；
　　        double a，b； //擬合直線y=a+bx的2個(gè)待定系數(shù)
　　        for(int i=0；i<n；i++)                .
　　        {
　　           //計(jì)算兩組數(shù)據(jù)的和total_m和total_q
　　        }
　　        average_m=total_m/n； //求的第一組數(shù)據(jù)的平均值
　　        average_q=total_q/n； //求的第二組數(shù)據(jù)的平均值
       for(int j=0；j<n；j++)                   
　　        {
         利用公式(1)計(jì)算兩組數(shù)據(jù)m，q它們所有數(shù)據(jù)偏離程度的對(duì)應(yīng)相乘之和L_mq
　　        }
       for(int k=0；k<n；k++)                   
        {
         計(jì)算第一組數(shù)據(jù)m，它的所有數(shù)據(jù)偏離
         程度的平方和L_mm
        }
        b=L_mq/L_mm；  //計(jì)算出擬合直線的待定系數(shù)
//b的擬合值
        a=average_q-b*average_m；  //利用公式(2)算出參
//數(shù)a
    }
    從而得到一條線性直線，算法結(jié)束。
3 算法在實(shí)驗(yàn)數(shù)據(jù)上的實(shí)現(xiàn)
    從SSMBSS(上海軟件度量基準(zhǔn)體系)中選取了一組數(shù)據(jù)(見(jiàn)表1)，首先將其用散點(diǎn)圖列出來(lái)(見(jiàn)圖1)，然后用盒形圖進(jìn)行數(shù)據(jù)清洗(見(jiàn)圖2)，最后用回歸分析得出擬合直線(見(jiàn)圖3)。

    綜上所述，對(duì)于軟件度量過(guò)程中出現(xiàn)的數(shù)據(jù)冗余和失真的情況，可以通過(guò)數(shù)據(jù)過(guò)濾和回歸分析進(jìn)行處理，除去那些離群的數(shù)據(jù)，并得出相應(yīng)的擬合直線，這樣就可以分析出數(shù)據(jù)的規(guī)律，保證軟件的質(zhì)量，提高效率。
參考文獻(xiàn)
[1] FENTONenton N E， PFLEEGER S L. Softwaremetrics: a rigorous&practical apporach[M](第2版). 北京: 清華大學(xué)出版社， 2003.
[2] 郭志懋，周傲英.數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述.軟件學(xué)報(bào)[J]，2002(11).
[3] 王石，李玉忱，劉乃麗，等.在屬性級(jí)別上處理噪聲數(shù)據(jù)的數(shù)據(jù)清洗算法.計(jì)算機(jī)工程[J]，2005(5).
[4] 徐建華.現(xiàn)代地理學(xué)中的數(shù)學(xué)方法.北京：高等教育出版社，2002.