21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等都極大拓展了其應(yīng)用范圍，各種數(shù)據(jù)迅速擴(kuò)張變大。大數(shù)據(jù)蘊(yùn)藏著價(jià)值信息，但如何從海量數(shù)據(jù)中淘換出出對(duì)客戶有用的沙金甚至鉆石，是數(shù)據(jù)人面臨的巨大挑戰(zhàn)。本文在分析大數(shù)據(jù)基本特征的基礎(chǔ)上，對(duì)數(shù)據(jù)挖掘技能的分類及數(shù)據(jù)挖掘的常用方法進(jìn)行了大略分析，以期可以在大數(shù)據(jù)時(shí)代背景下可以在數(shù)據(jù)挖掘方向取得些許成績(jī)。

1 大數(shù)據(jù)時(shí)代數(shù)據(jù)挖掘的重要性

隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等技能的快速發(fā)展，以及智能終端、網(wǎng)絡(luò)社會(huì)、數(shù)字地球等信息體的普及和建設(shè)，全球數(shù)據(jù)量出現(xiàn)爆炸式增長(zhǎng)，僅在2011年就達(dá)到1.8萬(wàn)億GB。IDC（Internet Data Center，互聯(lián)網(wǎng)絡(luò)數(shù)據(jù)中心）預(yù)計(jì)，到2020 年全球數(shù)據(jù)量將增加50倍。毋庸置疑，大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)。一方面，云計(jì)算為這些海量的、多樣化的數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)，同時(shí)數(shù)據(jù)挖掘和人工智能從大數(shù)據(jù)中發(fā)現(xiàn)知識(shí)、規(guī)律和趨勢(shì)，為決策提供信息參考。

如果運(yùn)用合理的方法和工具，在企業(yè)日積月累變成的浩瀚數(shù)據(jù)中，是能夠淘到沙金的，甚至可能發(fā)現(xiàn)許多大的鉆石。在一些信息化較成熟的行業(yè)，就有這樣的例子。比如銀行的信息化建設(shè)就相當(dāng)完善，銀行每天生成的數(shù)據(jù)數(shù)以萬(wàn)計(jì)，儲(chǔ)戶的存取款數(shù)據(jù)、ATM交易數(shù)據(jù)等。

數(shù)據(jù)挖掘是借助IT手段對(duì)經(jīng)營(yíng)決策產(chǎn)生決定性影響的一種管理手段。從定義上來(lái)看，數(shù)據(jù)挖掘是指一個(gè)完整的過(guò)程，該過(guò)程是從大量、不完全、模糊和隨機(jī)的數(shù)據(jù)集中識(shí)別有效的、可實(shí)用的信息，并運(yùn)用這些信息做出決策。

2 數(shù)據(jù)挖掘的分類

數(shù)據(jù)挖掘技能從起初的單一門類的知識(shí)逐步發(fā)展成為一門綜合性的多學(xué)科知識(shí)，并由此產(chǎn)生了很多的數(shù)據(jù)挖掘方法，這些方法種類多，類型也有很大的差別。為了滿足用戶的實(shí)際需要，現(xiàn)對(duì)數(shù)據(jù)挖掘技能進(jìn)行如下幾種分類：

2.1 按挖掘的數(shù)據(jù)庫(kù)類型分類

利用數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)分類成為可能是因?yàn)閿?shù)據(jù)庫(kù)在對(duì)數(shù)據(jù)儲(chǔ)存時(shí)就能夠?qū)��?shù)據(jù)按照其類型、模型以及應(yīng)用場(chǎng)景的不同來(lái)進(jìn)行分類，根據(jù)這種分類得到的數(shù)據(jù)在選取數(shù)據(jù)挖掘技能時(shí)也會(huì)有滿足自身的方法。對(duì)數(shù)據(jù)的分類有兩種情況，一種是根據(jù)其模型來(lái)分類，另一種是根據(jù)其類型來(lái)分類，前者包括關(guān)系型、對(duì)象-關(guān)系型以及工作型和數(shù)據(jù)倉(cāng)庫(kù)型等，后者包括時(shí)間型、空間型和Web 型的數(shù)據(jù)挖掘方法。

2.2 按挖掘的知識(shí)類型分類

這種分類方法是根據(jù)數(shù)據(jù)挖掘的功能來(lái)實(shí)施的，其中包括多種分析的方式，例如相關(guān)性、預(yù)測(cè)及離群點(diǎn)分析方法，充分的數(shù)據(jù)挖掘不但僅是一種單一的功能模式，而是各種不同功能的聚集。同時(shí)，在上述分類的情況下，還能夠按照數(shù)據(jù)本身的特性和屬性來(lái)對(duì)其進(jìn)行分類，例如數(shù)據(jù)的抽象性和數(shù)據(jù)的粒度等，利用數(shù)據(jù)的抽象層次來(lái)分類時(shí)能夠?qū)��?shù)據(jù)分為三個(gè)層次，即廣義知識(shí)的高抽象層，原始知識(shí)的原始層以及到多層的知識(shí)的多個(gè)抽象層。一個(gè)完善的數(shù)據(jù)挖掘能夠?qū)崿F(xiàn)對(duì)多個(gè)抽象層數(shù)據(jù)的挖掘，找到其有價(jià)值的知識(shí)。同時(shí)，在對(duì)數(shù)據(jù)挖掘進(jìn)行分類時(shí)還能夠根據(jù)其表現(xiàn)出來(lái)的模式及準(zhǔn)則性和是否檢測(cè)出噪聲來(lái)分類，一般來(lái)說(shuō)，數(shù)據(jù)的準(zhǔn)則性能夠通過(guò)多種不同的方法挖掘，例如相關(guān)性和關(guān)聯(lián)分析以及通過(guò)對(duì)其觀念描述和聚類分類、預(yù)測(cè)等方法，同時(shí)還能夠通過(guò)這些挖掘方法來(lái)檢測(cè)和排除噪聲。

2.3 按所用的技能類型分類

數(shù)據(jù)挖掘的時(shí)候選取的技能手段千變?nèi)f化，例如能夠選取面向數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的技能以及神經(jīng)網(wǎng)絡(luò)及其可視化等技能手段，同時(shí)用戶在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)也會(huì)使用很多不同的分析方法，根據(jù)這些分析方法的不同能夠分為遺傳算法、人工神經(jīng)網(wǎng)絡(luò)等等。一般情況下，一個(gè)龐大的數(shù)據(jù)挖掘系統(tǒng)是集多種挖掘技能和方法的綜合性系統(tǒng)。

2.4 按應(yīng)用分類

根據(jù)數(shù)據(jù)挖掘的應(yīng)用的領(lǐng)域來(lái)進(jìn)行分類，包括財(cái)經(jīng)行業(yè)、交通運(yùn)輸業(yè)、網(wǎng)絡(luò)通訊業(yè)、生物醫(yī)學(xué)領(lǐng)域如DNA等，在這些行業(yè)或領(lǐng)域中都有滿足自身要求的數(shù)據(jù)挖掘方法。對(duì)于特定的應(yīng)用場(chǎng)景，此時(shí)就可能需要與之相應(yīng)的特殊的挖掘方法，并保證其有效性。綜上所述，基本上不存在某種數(shù)據(jù)挖掘技能能夠在所有的行業(yè)中都能使用的技能，每種數(shù)據(jù)挖掘技能都有自身的專用性。

3 數(shù)據(jù)挖掘中常用的方法

目前數(shù)據(jù)挖掘方法主要有4種，這四種算法包括遺傳、決策樹(shù)、粗糙集和神經(jīng)網(wǎng)絡(luò)算法。以下對(duì)這四種算法進(jìn)行一一解釋說(shuō)明。

遺傳算法：該算法依據(jù)生物學(xué)領(lǐng)域的自然選擇規(guī)律以及遺傳的機(jī)理發(fā)展而來(lái)，是一種隨機(jī)搜索的算法，利用仿生學(xué)的原理來(lái)對(duì)數(shù)據(jù)知識(shí)進(jìn)行全局優(yōu)化處理。是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法，是一種仿生全局優(yōu)化方法。這種算法具有隱含并行性、易與其它模型聯(lián)合等優(yōu)點(diǎn)從而在數(shù)據(jù)挖掘中得到了應(yīng)用。

決策樹(shù)算法：在對(duì)模型的預(yù)測(cè)中，該算法具有很強(qiáng)的優(yōu)勢(shì)，利用該算法對(duì)龐大的數(shù)據(jù)信息進(jìn)行分類，從而對(duì)有潛在價(jià)值的信息進(jìn)行定位，這種算法的優(yōu)勢(shì)也對(duì)照明顯，在利用這種算法對(duì)數(shù)據(jù)進(jìn)行分類時(shí)相當(dāng)迅速，同時(shí)描述起來(lái)也很簡(jiǎn)明，在大規(guī)模數(shù)據(jù)處理時(shí)，這種方法的應(yīng)用性很強(qiáng)。

粗糙集算法：這個(gè)算法將知識(shí)的理解視為對(duì)數(shù)據(jù)的劃分，將這種劃分的一個(gè)總體叫做觀念，這種算法的基本原理是將不夠精確的知識(shí)與確定的或者正確的知識(shí)進(jìn)行類別同時(shí)進(jìn)行類別刻畫(huà)。

神經(jīng)網(wǎng)絡(luò)算法：在對(duì)模型的預(yù)測(cè)中，該算法具有很強(qiáng)的優(yōu)勢(shì)，利用該算法對(duì)龐大的數(shù)據(jù)信息進(jìn)行分類，從而對(duì)有潛在價(jià)值的信息進(jìn)行定位，這種算法的優(yōu)勢(shì)也對(duì)照明顯，在利用這種算法對(duì)數(shù)據(jù)進(jìn)行分類時(shí)相當(dāng)迅速，同時(shí)描述起來(lái)也很簡(jiǎn)明，在大規(guī)模數(shù)據(jù)處理時(shí)，這種方法的應(yīng)用性很強(qiáng)。光纜監(jiān)測(cè)及其故障診斷系統(tǒng)對(duì)于保證通訊的順利至關(guān)重要，同時(shí)這種技能方法也是順應(yīng)當(dāng)今時(shí)代的潮流必須推廣使用的方法。同時(shí)，該診斷技能為通訊管網(wǎng)和日常通訊提供了可靠的技能支持和可靠的后期保證。

在不久的將來(lái)，云計(jì)算一定會(huì)徹底走入我們的生活，有興趣入行未來(lái)前沿產(chǎn)業(yè)的朋友，可以收藏云計(jì)算，及時(shí)獲取人工智能、大數(shù)據(jù)、云計(jì)算和物聯(lián)網(wǎng)的前沿資訊和基礎(chǔ)知識(shí)，讓我們一起攜手，引領(lǐng)人工智能的未來(lái)！

標(biāo)簽： idc 大數(shù)據(jù) 大數(shù)據(jù)時(shí)代 電子商務(wù) 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)絡(luò) 數(shù)據(jù)庫(kù) 搜索 推廣 網(wǎng)絡(luò) 信息化 移動(dòng)互聯(lián) 云計(jì)算

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。