大數(shù)據(jù)(big data)，是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。

大數(shù)據(jù)的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。

對于“大數(shù)據(jù)”(Big data)研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

根據(jù)維基百科的定義，大數(shù)據(jù)是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

大數(shù)據(jù)時代就是說，在未來，我們認(rèn)為會存在這樣一個時代。那個時代里，幾乎我們每一個舉動，都會被記錄，并變成數(shù)據(jù)被存儲起來，無數(shù)的數(shù)據(jù)就組合成了你本人的一個信息庫。通過這個信息庫，你的一言一行，你的思想都變得可預(yù)測。

最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。” “大數(shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。

大數(shù)據(jù)作為云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價值的資產(chǎn)。企業(yè)內(nèi)部的經(jīng)營交易信息、互聯(lián)網(wǎng)世界中的商品物流信息，互聯(lián)網(wǎng)世界中的人與人交互信息、位置信息等，其數(shù)量將遠(yuǎn)遠(yuǎn)超越現(xiàn)有企業(yè)IT架構(gòu)和基礎(chǔ)設(shè)施的承載能力，實時性要求也將大大超越現(xiàn)有的計算能力。如何盤活這些數(shù)據(jù)資產(chǎn)，使其為國家治理、企業(yè)決策乃至個人生活服務(wù)，是大數(shù)據(jù)的核心議題，也是云計算內(nèi)在的靈魂和必然的升級方向。

大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘的區(qū)別是，大數(shù)據(jù)是互聯(lián)網(wǎng)的海量數(shù)據(jù)挖掘，而數(shù)據(jù)挖掘更多是針對內(nèi)部企業(yè)行業(yè)小眾化的數(shù)據(jù)挖掘，數(shù)據(jù)分析就是進(jìn)行做出針對性的分析和診斷，大數(shù)據(jù)需要分析的是趨勢和發(fā)展，數(shù)據(jù)挖掘主要發(fā)現(xiàn)的是問題和診斷：

3.1大數(shù)據(jù)(big data)：

指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》 中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(IBM提出)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實性) 。

3.2數(shù)據(jù)分析：

是指用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程。這一過程也是質(zhì)量管理體系的支持過程。在實用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動。

數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀(jì)早期就已確立，但直到計算機(jī)的出現(xiàn)才使得實際操作成為可能，并使得數(shù)據(jù)分析得以推廣。數(shù)據(jù)分析是數(shù)學(xué)與計算機(jī)科學(xué)相結(jié)合的產(chǎn)物。

3.3數(shù)據(jù)挖掘(英語：Data mining)：

又譯為資料探勘、數(shù)據(jù)采礦。它是數(shù)據(jù)庫知識發(fā)現(xiàn)(英語：Knowledge-Discovery in Databases，簡稱：KDD)中的一個步驟。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機(jī)科學(xué)有關(guān)，并通過統(tǒng)計、在線分析處理、情報檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)(依靠過去的經(jīng)驗法則)和模式識別等諸多方法來實現(xiàn)上述目標(biāo)。

簡而言之：

大數(shù)據(jù)是范圍比較廣的數(shù)據(jù)分析和數(shù)據(jù)挖掘。

按照數(shù)據(jù)分析的流程來說，數(shù)據(jù)挖掘工作較數(shù)據(jù)分析工作靠前些，二者又有重合的地方，數(shù)據(jù)挖掘側(cè)重數(shù)據(jù)的清洗和梳理。

數(shù)據(jù)分析處于數(shù)據(jù)處理的最末端，是最后階段。

數(shù)據(jù)分析和數(shù)據(jù)挖掘的分界、概念比較模糊，模糊的意思是二者很難區(qū)分。

大數(shù)據(jù)概念更為廣泛，是把創(chuàng)新的思維、信息技術(shù)、統(tǒng)計學(xué)等等技術(shù)的綜合體，每個人限于學(xué)術(shù)背景、技術(shù)背景，概述的都不一樣。

4.1對大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點

移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計算為這些海量、多樣化的大數(shù)據(jù)提供存儲和運算平臺。通過對不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會價值。

大數(shù)據(jù)具有催生社會變革的能量。但釋放這種能量，需要嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)治理、富有洞見的數(shù)據(jù)分析和激發(fā)管理創(chuàng)新的環(huán)境(Ramayya Krishnan,卡內(nèi)基·梅隆大學(xué)海因茲學(xué)院院長)。

4.2大數(shù)據(jù)是信息產(chǎn)業(yè)持續(xù)高速增長的新引擎

面向大數(shù)據(jù)市場的新技術(shù)、新產(chǎn)品、新服務(wù)、新業(yè)態(tài)會不斷涌現(xiàn)。在硬件與集成設(shè)備領(lǐng)域，大數(shù)據(jù)將對芯片、存儲產(chǎn)業(yè)產(chǎn)生重要影響，還將催生一體化數(shù)據(jù)存儲處理服務(wù)器、內(nèi)存計算等市場。在軟件與服務(wù)領(lǐng)域，大數(shù)據(jù)將引發(fā)數(shù)據(jù)快速處理分析、數(shù)據(jù)挖掘技術(shù)和軟件產(chǎn)品的發(fā)展。

4.3大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動”

對大數(shù)據(jù)的分析可以使零售商實時掌握市場動態(tài)并迅速做出應(yīng)對;可以為商家制定更加精準(zhǔn)有效的營銷策略提供決策支持;可以幫助企業(yè)為消費者提供更加及時和個性化的服務(wù);在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性;在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會穩(wěn)定等方面的重要作用。

4.4大數(shù)據(jù)時代科學(xué)研究的方法手段將發(fā)生重大改變

例如，抽樣調(diào)查是社會科學(xué)的基本研究方法。在大數(shù)據(jù)時代，可通過實時監(jiān)測、跟蹤研究對象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對策。

5.1對顧客群體細(xì)分

“大數(shù)據(jù)”可以對顧客群體細(xì)分，然后對每個群體量體裁衣般的采取獨特的行動。瞄準(zhǔn)特定的顧客群體來進(jìn)行營銷和服務(wù)是商家一直以來的追求。云存儲的海量數(shù)據(jù)和“大數(shù)據(jù)”的分析技術(shù)使得對消費者的實時和極端的細(xì)分有了成本效率極高的可能。

5.2模擬實境

運用“大數(shù)據(jù)”模擬實境，發(fā)掘新的需求和提高投入的回報率。現(xiàn)在越來越多的產(chǎn)品中都裝有傳感器，汽車和智能手機(jī)的普及使得可收集數(shù)據(jù)呈現(xiàn)爆炸性增長。Blog、Twitter、Facebook和微博等社交網(wǎng)絡(luò)也在產(chǎn)生著海量的數(shù)據(jù)。

云計算和“大數(shù)據(jù)”分析技術(shù)使得商家可以在成本效率較高的情況下，實時地把這些數(shù)據(jù)連同交易行為的數(shù)據(jù)進(jìn)行儲存和分析。交易過程、產(chǎn)品使用和人類行為都可以數(shù)據(jù)化。“大數(shù)據(jù)”技術(shù)可以把這些數(shù)據(jù)整合起來進(jìn)行數(shù)據(jù)挖掘，從而在某些情況下通過模型模擬來判斷不同變量(比如不同地區(qū)不同促銷方案)的情況下何種方案投入回報最高。

5.3提高投入回報率

提高“大數(shù)據(jù)”成果在各相關(guān)部門的分享程度，提高整個管理鏈條和產(chǎn)業(yè)鏈條的投入回報率。“大數(shù)據(jù)”能力強(qiáng)的部門可以通過云計算、互聯(lián)網(wǎng)和內(nèi)部搜索引擎把”大數(shù)據(jù)”成果和“大數(shù)據(jù)”能力比較薄弱的部門分享，幫助他們利用“大數(shù)據(jù)”創(chuàng)造商業(yè)價值。

5.4數(shù)據(jù)存儲空間出租

企業(yè)和個人有著海量信息存儲的需求，只有將數(shù)據(jù)妥善存儲，才有可能進(jìn)一步挖掘其潛在價值。具體而言，這塊業(yè)務(wù)模式又可以細(xì)分為針對個人文件存儲和針對企業(yè)用戶兩大類。主要是通過易于使用的API，用戶可以方便地將各種數(shù)據(jù)對象放在云端，然后再像使用水、電一樣按用量收費。目前已有多個公司推出相應(yīng)服務(wù)，如亞馬遜、網(wǎng)易、諾基亞等。運營商也推出了相應(yīng)的服務(wù)，如中國移動的彩云業(yè)務(wù)。

5.5管理客戶關(guān)系

客戶管理應(yīng)用的目的是根據(jù)客戶的屬性(包括自然屬性和行為屬性)，從不同角度深層次分析客戶、了解客戶，以此增加新的客戶、提高客戶的忠誠度、降低客戶流失率、提高客戶消費等。對中小客戶來說，專門的CRM顯然大而貴。不少中小商家將飛信作為初級CRM來使用。比如把老客戶加到飛信群里，在群朋友圈里發(fā)布新產(chǎn)品預(yù)告、特價銷售通知，完成售前售后服務(wù)等。

5.6個性化精準(zhǔn)推薦

在運營商內(nèi)部，根據(jù)用戶喜好推薦各類業(yè)務(wù)或應(yīng)用是常見的，比如應(yīng)用商店軟件推薦、IPTV視頻節(jié)目推薦等，而通過關(guān)聯(lián)算法、文本摘要抽取、情感分析等智能分析算法后，可以將之延伸到商用化服務(wù)，利用數(shù)據(jù)挖掘技術(shù)幫助客戶進(jìn)行精準(zhǔn)營銷，今后盈利可以來自于客戶增值部分的分成。

以日常的“垃圾短信”為例，信息并不都是“垃圾”，因為收到的人并不需要而被視為垃圾。通過用戶行為數(shù)據(jù)進(jìn)行分析后，可以給需要的人發(fā)送需要的信息，這樣“垃圾短信”就成了有價值的信息。在日本的麥當(dāng)勞，用戶在手機(jī)上下載優(yōu)惠券，再去餐廳用運營商DoCoMo的手機(jī)錢包優(yōu)惠支付。運營商和麥當(dāng)勞搜集相關(guān)消費信息，例如經(jīng)常買什么漢堡，去哪個店消費，消費頻次多少，然后精準(zhǔn)推送優(yōu)惠券給用戶。

5.7數(shù)據(jù)搜索

數(shù)據(jù)搜索是一個并不新鮮的應(yīng)用，隨著“大數(shù)據(jù)”時代的到來，實時性、全范圍搜索的需求也就變得越來越強(qiáng)烈。我們需要能搜索各種社交網(wǎng)絡(luò)、用戶行為等數(shù)據(jù)。其商業(yè)應(yīng)用價值是將實時的數(shù)據(jù)處理與分析和廣告聯(lián)系起來，即實時廣告業(yè)務(wù)和應(yīng)用內(nèi)移動廣告的社交服務(wù)。

運營商掌握的用戶網(wǎng)上行為信息，使得所獲取的數(shù)據(jù)“具備更全面維度”，更具商業(yè)價值。典型應(yīng)用如中國移動的“盤古搜索”。

基礎(chǔ)階段：

Linux、Docker、KVM、MySQL基礎(chǔ)、Oracle基礎(chǔ)、MongoDB、redis。

hadoop mapreduce hdfs yarn：hadoop：Hadoop 概念、版本、歷史，HDFS工作原理，YARN介紹及組件介紹。

大數(shù)據(jù)存儲階段：hbase、hive、sqoop。

大數(shù)據(jù)架構(gòu)設(shè)計階段：Flume分布式、Zookeeper、Kafka。

大數(shù)據(jù)實時計算階段：Mahout、Spark、storm。

大數(shù)據(jù)數(shù)據(jù)采集階段：Python、Scala。

大數(shù)據(jù)商業(yè)實戰(zhàn)階段：實操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景，分析需求、解決方案實施，綜合技術(shù)實戰(zhàn)應(yīng)用。

在掌握J(rèn)ava基礎(chǔ)的前提下，各階段的大數(shù)據(jù)學(xué)習(xí)需要掌握的專業(yè)技術(shù)。

趨勢一：數(shù)據(jù)的資源化

何為資源化，是指大數(shù)據(jù)成為企業(yè)和社會關(guān)注的重要戰(zhàn)略資源，并已成為大家爭相搶奪的新焦點。因而，企業(yè)必須要提前制定大數(shù)據(jù)營銷戰(zhàn)略計劃，搶占市場先機(jī)。

趨勢二：與云計算的深度結(jié)合

大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺之一。自2013年開始，大數(shù)據(jù)技術(shù)已開始和云計算技術(shù)緊密結(jié)合，預(yù)計未來兩者關(guān)系將更為密切。除此之外，物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，也將一齊助力大數(shù)據(jù)革命，讓大數(shù)據(jù)營銷發(fā)揮出更大的影響力。

趨勢三：科學(xué)理論的突破

隨著大數(shù)據(jù)的快速發(fā)展，就像計算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實現(xiàn)科學(xué)技術(shù)上的突破。

趨勢四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立

未來，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會催生一批與之相關(guān)的新的就業(yè)崗位。與此同時，基于數(shù)據(jù)這個基礎(chǔ)平臺，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來產(chǎn)業(yè)的核心一環(huán)。

趨勢五：數(shù)據(jù)泄露泛濫

未來幾年數(shù)據(jù)泄露事件的增長率也許會達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障。可以說，在未來，每個財富500強(qiáng)企業(yè)都會面臨數(shù)據(jù)攻擊，無論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無論規(guī)模大小，都需要重新審視今天的安全定義。在財富500強(qiáng)企業(yè)中，超過50%將會設(shè)置首席信息安全官這一職位。企業(yè)需要從新的角度來確保自身以及客戶數(shù)據(jù)，所有數(shù)據(jù)在創(chuàng)建之初便需要獲得安全保障，而并非在數(shù)據(jù)保存的最后一個環(huán)節(jié)，僅僅加強(qiáng)后者的安全措施已被證明于事無補(bǔ)。

趨勢六：數(shù)據(jù)管理成為核心競爭力

數(shù)據(jù)管理成為核心競爭力，直接影響財務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競爭力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。數(shù)據(jù)資產(chǎn)管理效率與主營業(yè)務(wù)收入增長率、銷售收入增長率顯著正相關(guān);此外，對于具有互聯(lián)網(wǎng)思維的企業(yè)而言，數(shù)據(jù)資產(chǎn)競爭力所占比重為36.8%，數(shù)據(jù)資產(chǎn)的管理效果將直接影響企業(yè)的財務(wù)表現(xiàn)。

趨勢七：數(shù)據(jù)質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵

采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會脫穎而出。其中要面臨的一個挑戰(zhàn)是，很多數(shù)據(jù)源會帶來大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過BI獲得更佳決策。

趨勢八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)

大數(shù)據(jù)的世界不只是一個單一的、巨大的計算機(jī)網(wǎng)絡(luò)，而是一個由大量活動構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。而今，這樣一套數(shù)據(jù)生態(tài)系統(tǒng)的基本雛形已然形成，接下來的發(fā)展將趨向于系統(tǒng)內(nèi)部角色的細(xì)分，也就是市場的細(xì)分;系統(tǒng)機(jī)制的調(diào)整，也就是商業(yè)模式的創(chuàng)新;系統(tǒng)結(jié)構(gòu)的調(diào)整，也就是競爭環(huán)境的調(diào)整等等，從而使得數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度逐漸增強(qiáng)。

大數(shù)據(jù)實質(zhì)是數(shù)據(jù)量到了一定程度，怎么獲取、處理和分析的事情。其他問題比如數(shù)據(jù)中心怎么建設(shè)、是否采用數(shù)據(jù)大集中的形式可以說和大數(shù)據(jù)的實質(zhì)關(guān)系不大。大數(shù)據(jù)使用的數(shù)據(jù)可以是集中的一處拿來的，更可能是分布在多地或者一地的多處的。

數(shù)據(jù)大集中是一種建設(shè)模式。意思主要是不搞分級分地區(qū)的部署，而把數(shù)據(jù)中心統(tǒng)一在一處。比如銀行的中國南北兩大數(shù)據(jù)中心、稅務(wù)部門的大集中建設(shè)，這樣數(shù)據(jù)庫在物理上是位于一處匯總的(當(dāng)然為了數(shù)據(jù)安全，可有異地備份)，對銀行和稅務(wù)等部門來說，便于提取和統(tǒng)計，特別是便于總行總局之類的上級部門直接拿到各地業(yè)務(wù)數(shù)據(jù)。

9.1什么是數(shù)據(jù)挖掘?

數(shù)據(jù)挖掘(Data Mining)是采用數(shù)學(xué)的、統(tǒng)計的、人工智能和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的科學(xué)方法，如記憶推理、聚類分析、關(guān)聯(lián)分析、決策樹、神經(jīng)網(wǎng)絡(luò)、基因算法等技術(shù)，從大量數(shù)據(jù)中挖掘出隱含的、先前未知的、對決策有潛在價值的關(guān)系、模式和趨勢,并用這些知識和規(guī)則建立用于決策支持的模型，提供預(yù)測性決策支持的方法、工具和過程。

數(shù)據(jù)挖掘綜合了各個學(xué)科技術(shù)，有很多的功能，當(dāng)前的主要功能如下：

(1)分類：按照分析對象的屬性、特征，建立不同的組類來描述事物。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同的類別，現(xiàn)在就可以根據(jù)這些來區(qū)分新申請貸款的客戶，以采取相應(yīng)的貸款方案。

(2)聚類：識別出分析對內(nèi)在的規(guī)則，按照這些規(guī)則把對象分成若干類。例如：將申請人分為高度風(fēng)險申請者，中度風(fēng)險申請者，低度風(fēng)險申請者。

(3)關(guān)聯(lián)規(guī)則：關(guān)聯(lián)是某種事物發(fā)生時其他事物會發(fā)生的這樣一種聯(lián)系。例如：每天購買啤酒的人也有可能購買香煙，比重有多大，可以通過關(guān)聯(lián)的支持度和可信度來描述。

(4)預(yù)測：把握分析對象發(fā)展的規(guī)律，對未來的趨勢做出預(yù)見。例如：對未來經(jīng)濟(jì)發(fā)展的判斷。

(5)偏差的檢測：對分析對象的少數(shù)的、極端的特例的描述，揭示內(nèi)在的原因。例如：在銀行的100萬筆交易中有500例的欺詐行為，銀行為了穩(wěn)健經(jīng)營，就要發(fā)現(xiàn)這500例的內(nèi)在因素，減小以后經(jīng)營的風(fēng)險。

當(dāng)然除了以上所列出的還有時間序列分析等一些其他的功能，需要注意的是：數(shù)據(jù)挖掘的各項功能不是獨立存在的，在數(shù)據(jù)挖掘中互相聯(lián)系，發(fā)揮作用。

9.2數(shù)據(jù)挖掘與統(tǒng)計學(xué)的聯(lián)系

數(shù)據(jù)挖掘技術(shù)是計算機(jī)技術(shù)、人工智能技術(shù)和統(tǒng)計技術(shù)等構(gòu)成的一種新學(xué)科。數(shù)據(jù)挖掘來源于統(tǒng)計分析，而又不同于統(tǒng)計分析。數(shù)據(jù)挖掘不是為了替代傳統(tǒng)的統(tǒng)計分析技術(shù)，相反，數(shù)據(jù)挖掘是統(tǒng)計分析方法的擴(kuò)展和延伸。大多數(shù)的統(tǒng)計分析技術(shù)都基于完善的數(shù)學(xué)理論和高超的技巧，其預(yù)測的準(zhǔn)確程度還是令人滿意的，但對于使用者的知識要求比較高。而隨著計算機(jī)能力的不斷發(fā)展，數(shù)據(jù)挖掘可以利用相對簡單和固定程序完成同樣的功能。新的計算算法的產(chǎn)生如神經(jīng)網(wǎng)絡(luò)、決策樹使人們不需了解到其內(nèi)部復(fù)雜的原理也可以通過這些方法獲得良好的分析和預(yù)測效果。

由于數(shù)據(jù)挖掘和統(tǒng)計分析根深蒂固的聯(lián)系，通常的據(jù)挖掘工具都能夠通過可選件或自身提供統(tǒng)計分析功能。這些功能對于數(shù)據(jù)挖掘的前期數(shù)據(jù)探索和數(shù)據(jù)挖掘之后對數(shù)據(jù)進(jìn)行總結(jié)和分析都是十分必要的。統(tǒng)計分析所提供的諸如方差分析、假設(shè)檢驗、相關(guān)性分析、線性預(yù)測、時間序列分析等功能都有助于數(shù)據(jù)挖掘前期對數(shù)據(jù)進(jìn)行探索，發(fā)現(xiàn)數(shù)據(jù)挖掘的題目、找出數(shù)據(jù)挖掘的目標(biāo)、確定數(shù)據(jù)挖掘所需涉及的變量、對數(shù)據(jù)源進(jìn)行抽樣等等。所有這些前期工作對數(shù)據(jù)挖掘的效果產(chǎn)生重大影響。而數(shù)據(jù)挖掘的結(jié)果也需要統(tǒng)計分析的描述功能(最大值、最小值、平均值、方差、四分位、個數(shù)、概率分配)進(jìn)行具體描述，使數(shù)據(jù)挖掘的結(jié)果能夠被用戶了解。因此，統(tǒng)計分析和數(shù)據(jù)挖掘是相輔相成的過程,兩者的合理配合是數(shù)據(jù)挖掘成功的重要條件。

9.3數(shù)據(jù)挖掘與統(tǒng)計學(xué)的區(qū)別

統(tǒng)計學(xué)目前有一種趨勢是越來越精確。當(dāng)然，這本身并不是壞事，只有越精確才能避免錯誤，發(fā)現(xiàn)真理。統(tǒng)計學(xué)在采用一個方法之前先要證明，而不是象計算機(jī)科學(xué)和機(jī)器學(xué)習(xí)那樣注重經(jīng)驗。有時候同一問題的其它領(lǐng)域的研究者提出一個很明顯有用的方法，但它卻不能被統(tǒng)計學(xué)家證明(或者現(xiàn)在還沒有證明)。統(tǒng)計雜志傾向于發(fā)表經(jīng)過數(shù)學(xué)證明的方法而不是一些特殊方法。數(shù)據(jù)挖掘作為幾門學(xué)科的綜合，已經(jīng)從機(jī)器學(xué)習(xí)那里繼承了實驗的態(tài)度。這并不意味著數(shù)據(jù)挖掘工作者不注重精確，而只是說明如果方法不能產(chǎn)生結(jié)果的話就會被放棄。

正是由于統(tǒng)計學(xué)的數(shù)學(xué)精確性，而且其對推理的側(cè)重，盡管統(tǒng)計學(xué)的一些分支也側(cè)重于描述，但是瀏覽一下統(tǒng)計論文的話就會發(fā)現(xiàn)這些論文的核心問題就是在觀察了樣本的情況下如何去推斷總體。當(dāng)然這也常常是數(shù)據(jù)挖掘所關(guān)注的。下面我們會提到數(shù)據(jù)挖掘的一個特定屬性就是要處理的是一個大數(shù)據(jù)集。這就意味著，傳統(tǒng)統(tǒng)計學(xué)由于可行性的原因，我們常常得到的只是一個樣本，但是需要描述樣本取自的那個大數(shù)據(jù)集。然而，數(shù)據(jù)挖掘問題常常可以得到數(shù)據(jù)總體，例如關(guān)于一個公司的所有職工數(shù)據(jù)，數(shù)據(jù)庫中的所有客戶資料，去年的所有業(yè)務(wù)。在這種情形下，統(tǒng)計學(xué)的推斷就沒有價值了。

很多情況下，數(shù)據(jù)挖掘的本質(zhì)是很偶然的發(fā)現(xiàn)非預(yù)期但很有價值的信息。這說明數(shù)據(jù)挖掘過程本質(zhì)上是實驗性的。這和確定性的分析是不同的。(實際上，一個人是不能完全確定一個理論的，只能提供證據(jù)和不確定的證據(jù)。)確定性分析著眼于最適合的模型-建立一個推薦模型，這個模型也許不能很好的解釋觀測到的數(shù)據(jù)。大部分統(tǒng)計分析提出的是確定性的分析。

如果數(shù)據(jù)挖掘的主要目的是發(fā)現(xiàn)，那它就不關(guān)心統(tǒng)計學(xué)領(lǐng)域中的在回答一個特定的問題之前，如何很好的搜集數(shù)據(jù)，例如實驗設(shè)計和調(diào)查設(shè)計。數(shù)據(jù)挖掘本質(zhì)上假想數(shù)據(jù)已經(jīng)被搜集好，關(guān)注的只是如何發(fā)現(xiàn)其中的秘密。

首先我們先簡單來看一下概念：

10.1.數(shù)據(jù)倉庫：數(shù)據(jù)倉庫，是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個數(shù)據(jù)存儲，出于分析性報告和決策支持目的而創(chuàng)建。 為需要業(yè)務(wù)智能的企業(yè)，提供指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時間、成本、質(zhì)量以及控制。數(shù)據(jù)倉庫是決策支持系統(tǒng)(dss)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)倉庫的特征在于面向主題、集成性、穩(wěn)定性和時變性。

10.2.大數(shù)據(jù)：大數(shù)據(jù)(big data)，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

10.3.云計算：云計算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。因此，云計算甚至可以讓你體驗每秒10萬億次的運算能力，擁有這么強(qiáng)大的計算能力可以模擬核爆炸、預(yù)測氣候變化和市場發(fā)展趨勢。用戶通過電腦、筆記本、手機(jī)等方式接入數(shù)據(jù)中心，按自己的需求進(jìn)行運算。

接下來我們來看一下他們的關(guān)系：

1)數(shù)據(jù)庫和數(shù)據(jù)倉庫都是數(shù)據(jù)的一種存儲方式，大數(shù)據(jù)處理更多的是一種需求(問題)，而云計算是一種比較綜合的需求(問題)解決方案。

2)由于云計算本身的特性，天生就面臨大數(shù)據(jù)處理(存儲、計算等)問題，因為云計算的基本架構(gòu)模式是C/S模式，其中S相對集中，而C是廣泛分布。所有用戶的數(shù)據(jù)和絕大部分的計算都是在S端完成的(數(shù)據(jù)量大，計算量大)，加上用戶也天然具有多樣性(地域，文化，需求，個性化等)，因此需求(也包括計算量)就非常大。

3)云計算當(dāng)然會涉及到數(shù)據(jù)的存儲技術(shù)，但數(shù)據(jù)庫技術(shù)對于云計算來說要視具體的情況來分析：

A)對于IaaS而言，數(shù)據(jù)庫技術(shù)不是必需的，也不是必備的功能;

B)對于PaaS來說，數(shù)據(jù)庫功能應(yīng)該是必備的功能;

C)對于SaaS而言，必然會用到數(shù)據(jù)庫技術(shù)(包括傳統(tǒng)關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫)。

而對于數(shù)據(jù)倉庫技術(shù)，并不是云計算所必需的，但由于云數(shù)據(jù)的信息價值極大，類似一座金礦，我想云服務(wù)商是不可能放過從這些金礦中提取金子的。

4)大數(shù)據(jù)首先所面臨的問題就是大數(shù)據(jù)的存儲問題，一般都會綜合運用各種存儲技術(shù)(文件存儲，數(shù)據(jù)庫存儲)，當(dāng)然，你完全用文件存儲或者數(shù)據(jù)庫存儲來解決，也是沒問題的。與云計算類似，數(shù)據(jù)倉庫技術(shù)不是必需的，但對于數(shù)據(jù)倉庫技術(shù)對于結(jié)構(gòu)化數(shù)據(jù)進(jìn)行淘金還是非常有用的，當(dāng)然，你不用數(shù)據(jù)倉庫技術(shù)也可以，比如Hadoop模式。

在云計算和大數(shù)據(jù)處理中，最基礎(chǔ)的技術(shù)其實是分布式計算技術(shù)。而對于構(gòu)建分布式計算而言，多線程，同步，遠(yuǎn)程調(diào)用(RPC,RMI等)，進(jìn)程管理與通信是其基本技術(shù)點。分布式計算編程是一種綜合性應(yīng)用編程，不僅需要有基本的技術(shù)點，還需要一定的組織管理知識。

來源：九夏信息科技