全面解析數(shù)據(jù)挖掘的分類及各種分析方法

字號(hào):

1.數(shù)據(jù)挖掘能做以下六種不同事情(分析方法):
    · 分類 (Classification)
    · 估值(Estimation)
    · 預(yù)言(Prediction)
    · 相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)
    · 聚集(Clustering)
    · 描述和可視化(Des cription and Visualization)
    · 復(fù)雜數(shù)據(jù)類型挖掘(Text, Web ,圖形圖像,視頻,音頻等)
    2.數(shù)據(jù)挖掘分類
    以上六種數(shù)據(jù)挖掘的分析方法可以分為兩類:直接數(shù)據(jù)挖掘;間接數(shù)據(jù)挖掘
    · 直接數(shù)據(jù)挖掘
    目標(biāo)是利用可用的數(shù)據(jù)建立一個(gè)模型,這個(gè)模型對(duì)剩余的數(shù)據(jù),對(duì)一個(gè)特定的變量(可以理解成數(shù)據(jù)庫(kù)中表的屬性,即列)進(jìn)行描述。
    · 間接數(shù)據(jù)挖掘
    目標(biāo)中沒(méi)有選出某一具體的變量,用模型進(jìn)行描述;而是在所有的變量中建立起某種關(guān)系 。
    · 分類、估值、預(yù)言屬于直接數(shù)據(jù)挖掘;后三種屬于間接數(shù)據(jù)挖掘
    3.各種分析方法的簡(jiǎn)介
    · 分類 (Classification)
    首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集,在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù),建立分類模型,對(duì)于沒(méi)有分類的數(shù)據(jù)進(jìn)行分類。
    例子:
    a. 信用卡申請(qǐng)者,分類為低、中、高風(fēng)險(xiǎn)
    b. 分配客戶到預(yù)先定義的客戶分片
    注意: 類的個(gè)數(shù)是確定的,預(yù)先定義好的
    · 估值(Estimation)
    估值與分類類似,不同之處在于,分類描述的是離散型變量的輸出,而估值處理連續(xù)值的輸出;分類的類別是確定數(shù)目的,估值的量是不確定的。
    例子:
    a. 根據(jù)購(gòu)買模式,估計(jì)一個(gè)家庭的孩子個(gè)數(shù)
    b. 根據(jù)購(gòu)買模式,估計(jì)一個(gè)家庭的收入
    c. 估計(jì)real estate的價(jià)值
    一般來(lái)說(shuō),估值可以作為分類的前一步工作。給定一些輸入數(shù)據(jù),通過(guò)估值,得到未知的連續(xù)變量的值,然后,根據(jù)預(yù)先設(shè)定的閾值,進(jìn)行分類。例如:銀行對(duì)家庭貸款業(yè)務(wù),運(yùn)用估值,給各個(gè)客戶記分(Score 0~1)。然后,根據(jù)閾值,將貸款級(jí)別分類。
    · 預(yù)言(Prediction)
    通常,預(yù)言是通過(guò)分類或估值起作用的,也就是說(shuō),通過(guò)分類或估值得出模型,該模型用于對(duì)未知變量的預(yù)言。從這種意義上說(shuō),預(yù)言其實(shí)沒(méi)有必要分為一個(gè)單獨(dú)的類。預(yù)言其目的是對(duì)未來(lái)未知變量的預(yù)測(cè),這種預(yù)測(cè)是需要時(shí)間來(lái)驗(yàn)證的,即必須經(jīng)過(guò)一定時(shí)間后,才知道預(yù)言準(zhǔn)確性是多少。
    · 相關(guān)性分組或關(guān)聯(lián)規(guī)則(Affinity grouping or association rules)
    決定哪些事情將一起發(fā)生。
    例子:
    a. 超市中客戶在購(gòu)買A的同時(shí),經(jīng)常會(huì)購(gòu)買B,即A => B(關(guān)聯(lián)規(guī)則)
    b. 客戶在購(gòu)買A后,隔一段時(shí)間,會(huì)購(gòu)買B (序列分析)
    · 聚集(Clustering)
    聚集是對(duì)記錄分組,把相似的記錄在一個(gè)聚集里。聚集和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類,不需要訓(xùn)練集。
    例子:
    a. 一些特定癥狀的聚集可能預(yù)示了一個(gè)特定的疾病
    b. 租VCD類型不相似的客戶聚集,可能暗示成員屬于不同的亞文化群
    聚集通常作為數(shù)據(jù)挖掘的第一步。例如,"哪一種類的促銷對(duì)客戶響應(yīng)?",對(duì)于這一 類問(wèn)題,首先對(duì)整個(gè)客戶做聚集,將客戶分組在各自的聚集里,然后對(duì)每個(gè)不同的聚集,回答問(wèn)題,可能效果更好。
    · 描述和可視化(Des cription and Visualization)
    是對(duì)數(shù)據(jù)挖掘結(jié)果的表示方式。