數據統計、數據挖掘、大(dà)數據、OLAP的(de)區(qū)别

      在大(dà)數據領域裏，經常會看到例如數據挖掘、OLAP、數據統計等等的(de)專業詞彙。如果僅僅從字面上，我們很難說清楚每個(gè)詞彙的(de)意義和(hé)區(qū)别。今天，我們就來(lái)通(tōng)過一些大(dà)數據在高(gāo)校應用(yòng)的(de)例子，來(lái)爲大(dà)家說明(míng)白—數據挖掘、大(dà)數據、OLAP、數據統計的(de)區(qū)别。

       數據分(fēn)析

       數據分(fēn)析是一個(gè)大(dà)的(de)概念，理(lǐ)論上任何對(duì)數據進行計算(suàn)、處理(lǐ)從而得(de)出一些有意義的(de)結論的(de)過程，都叫數據分(fēn)析。從數據本身的(de)複雜(zá)程度、以及對(duì)數據進行處理(lǐ)的(de)複雜(zá)度和(hé)深度來(lái)看，可(kě)以把數據分(fēn)析分(fēn)爲以下(xià)4個(gè)層次：數據統計，OLAP，數據挖掘，大(dà)數據。

       數據統計

       數據統計是最基本、最傳統的(de)數據分(fēn)析，自古有之。是指通(tōng)過統計學方法對(duì)數據進行排序、篩選、運算(suàn)、統計等處理(lǐ)，從而得(de)出一些有意義的(de)結論。

       舉例，對(duì)全年級學生按照(zhào)平均成績從高(gāo)到低排序，前10%的(de)學生可(kě)以獲得(de)申請研究生免試資格。

       傳統的(de)查詢和(hé)報表工具是告訴你數據庫中有什(shén)麽(What happened)

       OLAP

       聯機分(fēn)析處理(lǐ)(On-Line Analytical Processing，OLAP)是指基于數據倉庫的(de)在線多(duō)維統計分(fēn)析。它允許用(yòng)戶在線地從多(duō)個(gè)維度觀察某個(gè)度量值，從而爲決策提供支持。

       舉例，學校招生時(shí)要決定今年在江蘇的(de)招生指标，不能簡單地參照(zhào)去年的(de)計劃，而是要參考多(duō)個(gè)維度的(de)數據積累。學校要在這(zhè)些數據的(de)支持下(xià)做(zuò)出合理(lǐ)的(de)決策。

       OLAP更進一步告訴你下(xià)一步會怎麽樣(What next)，如果我采取這(zhè)樣的(de)措施又會怎麽樣(What if)

       數據挖掘

       數據挖掘是指從海量數據中找到人(rén)們未知的(de)、可(kě)能有用(yòng)的(de)、隐藏的(de)規則，可(kě)以通(tōng)過關聯分(fēn)析、聚類分(fēn)析、時(shí)序分(fēn)析等各種算(suàn)法發現一些無法通(tōng)過觀察圖表得(de)出的(de)深層次原因。

       舉例，學校發現高(gāo)等數學等主幹課的(de)不及格率有逐年上升的(de)趨勢，一般認爲是學習(xí)不認真所緻，但做(zuò)了(le)很多(duō)工作效果并不明(míng)縣，這(zhè)時(shí)通(tōng)過數據挖掘……

       針對(duì)此可(kě)以采取有針對(duì)性的(de)管理(lǐ)措施。

       大(dà)數據

       大(dà)數據是指用(yòng)現有的(de)計算(suàn)機軟硬件設施難以采集、存儲、管理(lǐ)、分(fēn)析和(hé)使用(yòng)的(de)超大(dà)規模的(de)數據集。大(dà)數據具有規模大(dà)、種類雜(zá)、快(kuài)速化(huà)、價值密度低等特點(4V特性)。大(dà)數據的(de)“大(dà)”是一個(gè)相對(duì)概念，沒有具體标準，如果一定要給一個(gè)标準，那麽10-100TB通(tōng)常稱爲大(dà)數據的(de)門檻。

       總結

       從數據分(fēn)析的(de)角度來(lái)看，目前絕大(dà)多(duō)數學校的(de)數據應用(yòng)産品都還(hái)處在數據統計和(hé)報表分(fēn)析的(de)階段，能夠實現有效的(de)OLAP分(fēn)析與數據挖掘的(de)還(hái)很少，而能夠達到大(dà)數據應用(yòng)階段的(de)非常少，至少還(hái)沒有用(yòng)過有效的(de)大(dà)數據集。

鄭重聲明(míng)：本文僅代表作者個(gè)人(rén)觀點，與成都泰伯科技(www.cdtaber.com)無關。其原創性以及文中陳述文字和(hé)内容未經本站證實，對(duì)本文以及其中全部或者部分(fēn)内容、文字的(de)真實性、完整性、及時(shí)性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實相關内容。