中國(guó)大數(shù)據(jù)行業(yè)的下一步走向
來(lái)源：原創(chuàng) 時(shí)間：2017-06-29 瀏覽：0 次（1） 先說(shuō)說(shuō)大數(shù)據(jù)熱潮的推動(dòng)力
要想了解清楚大數(shù)據(jù)行業(yè)下一步往哪里走，必須要先看清楚大數(shù)據(jù)這個(gè)行業(yè)，主要是被哪幾股力量在推動(dòng)著。在大數(shù)據(jù)行業(yè)前進(jìn)的每一步，你都要思考這些多方推動(dòng)力量的此消彼長(zhǎng)。
一、基礎(chǔ)設(shè)施支撐：說(shuō)大數(shù)據(jù)還得從云計(jì)算說(shuō)起
早在2004年，各種虛擬機(jī)就出現(xiàn)了。當(dāng)時(shí)人們不叫云計(jì)算，只是覺(jué)得可以把一臺(tái)高性能的服務(wù)器切成N個(gè)虛擬機(jī)，這樣便于一些邊緣應(yīng)用系統(tǒng)、或者測(cè)試環(huán)境能在上面跑，不需要單獨(dú)獨(dú)占一臺(tái)物理服務(wù)器。后來(lái)人們還注意到一個(gè)好處，就是可以環(huán)境隔離?，F(xiàn)在開(kāi)發(fā)應(yīng)用系統(tǒng)都要依賴(lài)很多底層框架，這些框架具有依賴(lài)性，還帶有版本依賴(lài)性，所以不同應(yīng)用系統(tǒng)需要的依賴(lài)關(guān)系以及版本都不同，要部署在一起就非常復(fù)雜，非常容易連鎖異常牽一發(fā)動(dòng)全身。這個(gè)隔離性特點(diǎn)更值得大家關(guān)注。
2011-2013這三年，國(guó)家層面鼓動(dòng)云計(jì)算、新能源、基礎(chǔ)網(wǎng)絡(luò)設(shè)施建設(shè)，在大背景口號(hào)下，搞了不少高新產(chǎn)業(yè)園，批了不少地，建立了不少I(mǎi)DC機(jī)房，號(hào)稱(chēng)云基地。首先是服務(wù)器、機(jī)架、電力、帶寬這些基礎(chǔ)算是上了一個(gè)新臺(tái)階了，這也算是一個(gè)進(jìn)步。
2012年開(kāi)始，OpenStack開(kāi)源風(fēng)起，虛擬機(jī)的集群管理終于有主了，云服務(wù)商可以大規(guī)模進(jìn)行虛機(jī)管理了。2014年，Docker和Kubernates開(kāi)源風(fēng)起，也是起到了更輕便資源占用的隔離性。
到底要在云上干些什么，什么應(yīng)用場(chǎng)景是要嚴(yán)重依賴(lài)云的大規(guī)模計(jì)算技術(shù)和存儲(chǔ)技術(shù)？是互聯(lián)網(wǎng)媒體？是社交IM？是網(wǎng)絡(luò)游戲和手機(jī)游戲？是視頻播放與直播？是B2C電子商務(wù)？是企業(yè)SaaS？是智能硬件云端物聯(lián)？還是大數(shù)據(jù)平臺(tái)？
二、企業(yè)信息掌控者被迫轉(zhuǎn)型：說(shuō)大數(shù)據(jù)還得從企業(yè)SaaS說(shuō)起
2014-2016這三年，大量創(chuàng)業(yè)SaaS產(chǎn)生，紛紛搭建在云虛擬主機(jī)集群上。而且都以低租金、公有形式進(jìn)行售賣(mài)和實(shí)施。
過(guò)去需要大金額購(gòu)買(mǎi)服務(wù)器、網(wǎng)絡(luò)帶寬、存儲(chǔ)、磁盤(pán)、操作系統(tǒng)、中間件、安全軟件，需要進(jìn)行嚴(yán)謹(jǐn)合規(guī)的立項(xiàng)、招標(biāo)評(píng)標(biāo)，需要安裝部署實(shí)施、初始化配置、復(fù)雜功能IT操作培訓(xùn)，還需要持續(xù)監(jiān)控、運(yùn)維、性能調(diào)優(yōu)等等，現(xiàn)在都不需要了。
免費(fèi)開(kāi)通免費(fèi)用，過(guò)了試用期覺(jué)得不錯(cuò)就續(xù)費(fèi)，一個(gè)月才上千元，還可以直接支付寶或微信支付。
這意味著企業(yè)IT部門(mén)沒(méi)事干了，被架空了。這點(diǎn)租用費(fèi)，企業(yè)業(yè)務(wù)部門(mén)都能自己出，而且試用好才購(gòu)買(mǎi)。而且現(xiàn)在搞企業(yè)SaaS都非常注重產(chǎn)品用戶(hù)體驗(yàn)，所以也不用像過(guò)去那樣需要專(zhuān)業(yè)的IT操作培訓(xùn)了。而且現(xiàn)在企業(yè)SaaS商把安裝部署、初始化、持續(xù)運(yùn)維監(jiān)控優(yōu)化、備份遷移，全都自己在后臺(tái)包了，不用企業(yè)業(yè)務(wù)部門(mén)和企業(yè)IT部門(mén)操心了。
不僅是企業(yè)SaaS抄了企業(yè)IT部的后路，而且企業(yè)新興業(yè)務(wù)也都抄了企業(yè)IT部的后路?，F(xiàn)在企業(yè)都紛紛轉(zhuǎn)型“+互聯(lián)網(wǎng)”，重心就是開(kāi)展互聯(lián)網(wǎng)營(yíng)銷(xiāo)和電子商務(wù)交易。但是，互聯(lián)網(wǎng)營(yíng)銷(xiāo)被營(yíng)銷(xiāo)部拿走了，電子商務(wù)交易被銷(xiāo)售部或者新成立的電子商務(wù)事業(yè)部給拿走了。企業(yè)IT部就剩下老業(yè)務(wù)老系統(tǒng)，新的擴(kuò)張的疆域都是別人的，這下企業(yè)SaaS都來(lái)了，企業(yè)IT部門(mén)就更沒(méi)有未來(lái)了。
那企業(yè)IT部的出路在哪里？CIO想到了云計(jì)算、大數(shù)據(jù)、人工智能這三個(gè)熱點(diǎn)。
但買(mǎi)一堆云主機(jī)、云網(wǎng)絡(luò)、云存儲(chǔ)、云數(shù)據(jù)庫(kù)，企業(yè)到底要干什么？做互聯(lián)網(wǎng)營(yíng)銷(xiāo)，有微信公眾號(hào)、微博、百度SEO、貼吧、微信群、QQ空間等等，做電子商務(wù)有京東POP和天貓平臺(tái)等等第三方平臺(tái)，即使搞官方獨(dú)立旗艦店，也有微店、有贊這樣的低收費(fèi)甚至免費(fèi)的移動(dòng)APP?，F(xiàn)在連內(nèi)部系統(tǒng)都SaaS化了。要一堆云主機(jī)、云網(wǎng)絡(luò)、云存儲(chǔ)、云數(shù)據(jù)庫(kù)，干嘛？
嗯，大數(shù)據(jù)。企業(yè)信息官（CIO），轉(zhuǎn)型成為CDO（企業(yè)數(shù)據(jù)官）。你們開(kāi)展互聯(lián)網(wǎng)業(yè)務(wù)、電子商務(wù)業(yè)務(wù)，都是沉淀數(shù)據(jù)，我匯集數(shù)據(jù)、利用數(shù)據(jù)、產(chǎn)生數(shù)據(jù)價(jià)值。
三、國(guó)家信息戰(zhàn)略推動(dòng)：說(shuō)大數(shù)據(jù)還得從貴州大數(shù)據(jù)說(shuō)起
國(guó)家提完云計(jì)算，一堆IDC建設(shè)起來(lái)了。國(guó)家從2014年又開(kāi)始提大數(shù)據(jù)，這堆IDC終于能利用上了。于是各種扶植補(bǔ)貼、稅收優(yōu)惠政策又都出來(lái)了，媒體也在紛紛提大數(shù)據(jù)，各地政府、政府業(yè)務(wù)部門(mén)、經(jīng)信委都在立項(xiàng)大數(shù)據(jù)。有的在搞大數(shù)據(jù)共享平臺(tái)，有的在搞大數(shù)據(jù)產(chǎn)業(yè)服務(wù)平臺(tái)。這都是考核KPI啊。每個(gè)干部都要成為21世紀(jì)的新型干部，要學(xué)習(xí)互聯(lián)網(wǎng)，善于利用互聯(lián)網(wǎng)，要用數(shù)據(jù)來(lái)指導(dǎo)工作，要利用數(shù)據(jù)進(jìn)行資源整合組織。
于是，一批奔著風(fēng)投熱潮、國(guó)家口號(hào)熱潮、國(guó)家補(bǔ)貼政策熱潮的廠商都蜂擁而至。
四、技術(shù)實(shí)現(xiàn)：說(shuō)大數(shù)據(jù)還得從大數(shù)據(jù)開(kāi)源技術(shù)說(shuō)起
來(lái)了，得賣(mài)產(chǎn)品啊。但賣(mài)啥大數(shù)據(jù)產(chǎn)品啊。
幸虧開(kāi)源來(lái)了：
1、Redis、MongoDB、influxDB...，提供了各種各樣數(shù)據(jù)類(lèi)型的分布式存儲(chǔ)引擎
2、Sqoop、kafka，提供了海量數(shù)據(jù)的抽取和傳輸
3、Hadoop提供了海量大數(shù)據(jù)的存儲(chǔ)引擎和計(jì)算引擎
4、Hbase、Hive，提供了大數(shù)據(jù)倉(cāng)庫(kù)技術(shù)
5、Presto、Spark、Storm，提供了更快的查詢(xún)、更快內(nèi)存運(yùn)算速度、更及時(shí)反饋結(jié)果的流式計(jì)算
6、Lucene、Nutch、Solr、ElasticSearch，提供了海量信息的爬蟲(chóng)、索引、搜索
7、Flume、Logstash、Splunk、Kibana，提供了海量日志收集、用戶(hù)點(diǎn)擊流收集
終于有底層系統(tǒng)產(chǎn)品可以賣(mài)了，嘿嘿。真是應(yīng)了我常說(shuō)的那句話(huà)：硅谷不開(kāi)源，中國(guó)IT企業(yè)就捉急死了。
但是企業(yè)買(mǎi)了一堆這些底層系統(tǒng)產(chǎn)品又能干嘛呢，這不是企業(yè)的目標(biāo)啊。
（2）大數(shù)據(jù)應(yīng)用
第一階段：數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能
企業(yè)IT部門(mén)買(mǎi)了一堆大數(shù)據(jù)底層系統(tǒng)產(chǎn)品和一堆云主機(jī)云存儲(chǔ)云網(wǎng)絡(luò)，接下來(lái)怎么干？
那就先從自己最熟悉的數(shù)據(jù)倉(cāng)庫(kù)、報(bào)表統(tǒng)計(jì)、圖表展示、商業(yè)智能開(kāi)干。但是，數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能已經(jīng)在企業(yè)領(lǐng)域被洗腦被上線(xiàn)建設(shè)搞了N次了，這次再上線(xiàn)大數(shù)據(jù)倉(cāng)庫(kù)的理由是啥？
企業(yè)搞商業(yè)智能已經(jīng)走過(guò)了兩個(gè)階段：
1、統(tǒng)計(jì)報(bào)表階段。產(chǎn)品經(jīng)理或業(yè)務(wù)分析師定義報(bào)表模型，由軟件工程師SQL語(yǔ)句寫(xiě)出報(bào)表。但這樣的玩法性能差、定制差（想組合一些指標(biāo)來(lái)做報(bào)表，每次得新寫(xiě)SQL）
2、商業(yè)智能階段。把數(shù)據(jù)ETL到多維數(shù)據(jù)倉(cāng)庫(kù)，可以多維指標(biāo)自由組合，彌補(bǔ)了報(bào)表制作技能要求門(mén)檻、成本、開(kāi)發(fā)效率的問(wèn)題。由于專(zhuān)門(mén)多維數(shù)據(jù)倉(cāng)庫(kù)技術(shù)架構(gòu)處理，所以報(bào)表跑的性能也高。
但是，傳統(tǒng)的商業(yè)智能技術(shù)架構(gòu)在如今又遇到問(wèn)題了。第一是數(shù)據(jù)增多了。企業(yè)從單點(diǎn)窗口業(yè)務(wù)處理，一路走來(lái)到企業(yè)內(nèi)部部門(mén)之間聯(lián)動(dòng)，到集團(tuán)化多元化，業(yè)務(wù)系統(tǒng)上的是遍布企業(yè)各個(gè)部門(mén)各種業(yè)務(wù)，企業(yè)規(guī)模是越來(lái)越大分支機(jī)構(gòu)越來(lái)越多，數(shù)據(jù)多年積累的也越來(lái)越多。所以過(guò)去BI能夠很快出報(bào)表結(jié)果的，現(xiàn)在等好長(zhǎng)時(shí)間才能出來(lái)，這就讓管理者很不爽。甚至有些報(bào)表需要運(yùn)行好幾個(gè)小時(shí)，更恐怖的要運(yùn)行幾天。怎么優(yōu)化呢？沒(méi)法優(yōu)化，過(guò)去的數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能的技術(shù)架構(gòu)就決定了沒(méi)法擴(kuò)展。
第二是數(shù)據(jù)類(lèi)型增多了。由于智能移動(dòng)手機(jī)的出現(xiàn)，各種非結(jié)構(gòu)化數(shù)據(jù)甚至流數(shù)據(jù)產(chǎn)生了，比如社交消息、地圖路徑、位置、照片、視頻、錄音，開(kāi)始受到熱點(diǎn)重視，導(dǎo)致傳統(tǒng)的商業(yè)智能技術(shù)架構(gòu)難以高性能存取這些非結(jié)構(gòu)化數(shù)據(jù)。
所以，分布式擴(kuò)張的、存取各種數(shù)據(jù)類(lèi)型的大數(shù)據(jù)技術(shù)平臺(tái)出現(xiàn)了，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能需要升級(jí)了。
能把這些需求滿(mǎn)足了，也是一種進(jìn)步啊。各位高大上的大數(shù)據(jù)技術(shù)公司，雖然這可能不是最正道的大數(shù)據(jù)，但千萬(wàn)別把數(shù)據(jù)倉(cāng)庫(kù)不當(dāng)事啊。這才是客戶(hù)真實(shí)的第一步剛需啊。
但要建設(shè)好數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能也不容易。大數(shù)據(jù)建設(shè)有兩個(gè)難點(diǎn)：一個(gè)難點(diǎn)是大數(shù)據(jù)建設(shè)的團(tuán)隊(duì)打造，另一個(gè)難點(diǎn)是數(shù)據(jù)處理。
要想建設(shè)好大數(shù)據(jù)，需要很多專(zhuān)業(yè)團(tuán)隊(duì)互相配合才能成功，這里需要：大數(shù)據(jù)技術(shù)平臺(tái)研發(fā)團(tuán)隊(duì)、大數(shù)據(jù)技術(shù)平臺(tái)運(yùn)維團(tuán)隊(duì)；數(shù)據(jù)ETL抽取清洗團(tuán)隊(duì)、數(shù)據(jù)特征標(biāo)準(zhǔn)團(tuán)隊(duì)；商業(yè)建模產(chǎn)品團(tuán)隊(duì)、數(shù)據(jù)算法研究團(tuán)隊(duì)；商業(yè)數(shù)據(jù)分析團(tuán)隊(duì)。
在數(shù)據(jù)處理方面，每個(gè)關(guān)鍵環(huán)節(jié)目前仍然存在需要大的困難。在數(shù)據(jù)收集環(huán)節(jié)，要收集到全產(chǎn)業(yè)鏈社會(huì)數(shù)據(jù)、現(xiàn)場(chǎng)數(shù)據(jù)、社會(huì)數(shù)據(jù)，需要我們打造產(chǎn)業(yè)鏈SaaS平臺(tái)、需要我們進(jìn)行全產(chǎn)業(yè)鏈智能化改造，需要我們和眾多互聯(lián)網(wǎng)公司電商公司金融公司合作交換數(shù)據(jù)；在數(shù)據(jù)加工環(huán)節(jié)，需要加強(qiáng)系統(tǒng)集成、數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)、主數(shù)據(jù)質(zhì)量管理；在數(shù)據(jù)抽取環(huán)節(jié)，需要對(duì)不同來(lái)源不同結(jié)構(gòu)的數(shù)據(jù)進(jìn)行業(yè)務(wù)邏輯性的剖析，你才能做到數(shù)據(jù)正確的抽取轉(zhuǎn)化，這需要數(shù)據(jù)ETL人員對(duì)業(yè)務(wù)、對(duì)數(shù)據(jù)邏輯都有深刻的理解；在數(shù)據(jù)價(jià)值應(yīng)用環(huán)節(jié)，商業(yè)洞察一直是難題，不管是商業(yè)分析模型的構(gòu)建、人工智能算法的應(yīng)用、商業(yè)數(shù)據(jù)的洞察解讀，都需要商業(yè)建模產(chǎn)品團(tuán)隊(duì)、數(shù)據(jù)算法研究團(tuán)隊(duì)、商業(yè)數(shù)據(jù)分析團(tuán)隊(duì)三者緊密合作，而他們的知識(shí)結(jié)構(gòu)和思考重心全都不一樣，能共同互補(bǔ)產(chǎn)生出價(jià)值分析，這確實(shí)很難。
所以對(duì)于大數(shù)據(jù)技術(shù)公司，最好的落地方式就是和行業(yè)應(yīng)用軟件商、行業(yè)解決方案提供商一起合作，一方提供很牛的大數(shù)據(jù)技術(shù)平臺(tái)，一方提供很好的業(yè)務(wù)分析模型。這需要建立很好的合作伙伴生態(tài)體系，才能提供各行各業(yè)的業(yè)務(wù)分析。
對(duì)于大數(shù)據(jù)技術(shù)公司被迫自己去了解業(yè)務(wù)、去搞行業(yè)業(yè)務(wù)分析模型，這簡(jiǎn)直是找死。
第二階段：社會(huì)化大數(shù)據(jù)
過(guò)去的數(shù)據(jù)大多來(lái)自企業(yè)內(nèi)部，即使企業(yè)擴(kuò)張為集團(tuán)、多元化事業(yè)部群、上下游渠道商、合作伙伴、供應(yīng)商、配套商，也只是企業(yè)內(nèi)部。這些各個(gè)環(huán)節(jié)信息化建設(shè)、產(chǎn)業(yè)鏈信息化整合建設(shè)，在大型領(lǐng)頭羊企業(yè)中，近十年內(nèi)已經(jīng)完成。
現(xiàn)在產(chǎn)生了社會(huì)化數(shù)據(jù)需求的根源，在于企業(yè)要實(shí)施“+互聯(lián)網(wǎng)”戰(zhàn)略升級(jí)轉(zhuǎn)型，開(kāi)展互聯(lián)網(wǎng)業(yè)務(wù)（營(yíng)銷(xiāo)與客戶(hù)社區(qū)）、電子商務(wù)交易業(yè)務(wù)、金融信貸保險(xiǎn)典當(dāng)質(zhì)押業(yè)務(wù)、智能產(chǎn)品智能服務(wù)后市場(chǎng)業(yè)務(wù)、產(chǎn)業(yè)鏈服務(wù)生態(tài)開(kāi)放業(yè)務(wù)。
所以產(chǎn)生了社會(huì)化大數(shù)據(jù)平臺(tái)建設(shè)熱潮：
1、社會(huì)化大數(shù)據(jù)支撐互聯(lián)網(wǎng)業(yè)務(wù)：主數(shù)據(jù)畫(huà)像、精準(zhǔn)營(yíng)銷(xiāo)推送、精準(zhǔn)搜索、精準(zhǔn)排名、精準(zhǔn)推薦、互聯(lián)網(wǎng)及社交媒體輿情監(jiān)控
2、社會(huì)化大數(shù)據(jù)支撐電子商務(wù)：點(diǎn)擊流/用戶(hù)行為分析、用戶(hù)體驗(yàn)改進(jìn)；采購(gòu)預(yù)測(cè)、定價(jià)預(yù)測(cè)、促銷(xiāo)預(yù)測(cè)、倉(cāng)儲(chǔ)合理安排規(guī)劃、物流路徑智能推薦
3、社會(huì)化大數(shù)據(jù)支撐金融業(yè)務(wù)：社會(huì)360度數(shù)據(jù)收集（Open API市場(chǎng)、數(shù)據(jù)交換市場(chǎng)）；區(qū)塊鏈存儲(chǔ)可信可追溯不可篡改數(shù)據(jù)；信用評(píng)估
4、社會(huì)化大數(shù)據(jù)支撐智能服務(wù)后市場(chǎng)業(yè)務(wù)：產(chǎn)品使用習(xí)慣信息收集、產(chǎn)品磨損信息收集；產(chǎn)品維修遠(yuǎn)程診斷；產(chǎn)品保險(xiǎn)智能推薦、產(chǎn)品保養(yǎng)推薦；產(chǎn)品轉(zhuǎn)賣(mài)二手殘值評(píng)估、產(chǎn)品典當(dāng)?shù)盅簹堉翟u(píng)估
5、社會(huì)化大數(shù)據(jù)支撐產(chǎn)業(yè)鏈服務(wù)生態(tài)開(kāi)放業(yè)務(wù)：主數(shù)據(jù)開(kāi)放、用戶(hù)行為用戶(hù)消費(fèi)習(xí)慣大數(shù)據(jù)開(kāi)放、信用數(shù)據(jù)開(kāi)放、統(tǒng)計(jì)分析數(shù)據(jù)開(kāi)放，為整個(gè)產(chǎn)業(yè)鏈端到端，由產(chǎn)品功能設(shè)計(jì)研發(fā)、原料采購(gòu)、定價(jià)、生產(chǎn)數(shù)量、生產(chǎn)節(jié)奏、倉(cāng)儲(chǔ)物流規(guī)劃、銷(xiāo)售、售后服務(wù)支持，全產(chǎn)業(yè)鏈優(yōu)化與聯(lián)動(dòng)
第三階段：物聯(lián)大數(shù)據(jù)
除了互聯(lián)網(wǎng)社區(qū)、自媒體內(nèi)容、移動(dòng)照片/視頻/IM消息、電子商務(wù)業(yè)務(wù)結(jié)構(gòu)數(shù)據(jù)外，還有更大一部分?jǐn)?shù)據(jù)沒(méi)有收集，那就是現(xiàn)實(shí)一線(xiàn)的數(shù)據(jù)，它們需要通過(guò)在一線(xiàn)現(xiàn)場(chǎng)的各種無(wú)人設(shè)備、飛行設(shè)備、傳感器、可穿戴設(shè)備、攝像頭人工智能識(shí)別、AR設(shè)備來(lái)收集。
硬件工藝是中國(guó)制造的短板，所以近幾年中國(guó)智能硬件的風(fēng)投幾乎全都撲街。想各個(gè)產(chǎn)品嵌入智能硬件，這個(gè)工藝改動(dòng)和量產(chǎn)就有待時(shí)日。所以，各個(gè)產(chǎn)品的智能數(shù)據(jù)上傳到云端，并且還能通過(guò)智能物聯(lián)云達(dá)到產(chǎn)品之間的互動(dòng)，這可能更有待時(shí)日。
但手機(jī)和攝像頭是中國(guó)成熟硬件，這樣最擅長(zhǎng)拍照和視頻記錄，上傳到后端來(lái)進(jìn)行人工智能識(shí)別處理。所以，這里需要大數(shù)據(jù)存儲(chǔ)平臺(tái)和人工智能處理引擎，搞圖片識(shí)別、語(yǔ)音視頻、視頻識(shí)別、文字識(shí)別。
人工智能這個(gè)領(lǐng)域已經(jīng)持續(xù)了夠30多年了，總是起起伏伏，不斷希望不斷失望再不斷希望?，F(xiàn)在就突然又火起來(lái)了。原因是什么？
原因就在于人工智能現(xiàn)在其實(shí)并不智能，并不能黑科技到模仿人腦子那樣（聽(tīng)說(shuō)IBM搞了這樣一個(gè)黑科技）。而現(xiàn)實(shí)中的人工智能，需要大量的外界數(shù)據(jù)輸入，人工智能算法模型經(jīng)過(guò)不斷數(shù)據(jù)訓(xùn)練，才能變得越來(lái)越智能。
過(guò)去，從數(shù)據(jù)產(chǎn)生、數(shù)據(jù)收集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算，各個(gè)環(huán)節(jié)都底層不支撐，所以人工智能一直沒(méi)有大數(shù)據(jù)來(lái)訓(xùn)練改進(jìn)?，F(xiàn)在有了物聯(lián)傳感設(shè)備、移動(dòng)手機(jī)、可穿戴設(shè)備、互聯(lián)網(wǎng)社區(qū)、電子商務(wù)、企業(yè)SaaS、高速網(wǎng)絡(luò)通信、云計(jì)算云存儲(chǔ)、大數(shù)據(jù)技術(shù)平臺(tái)，使這一切成為可能。
而這一波火起來(lái)的人工智能為啥聚焦在語(yǔ)音識(shí)別、圖片識(shí)別，這和移動(dòng)智能手機(jī)的興起也很有關(guān)系。移動(dòng)智能手機(jī)取消硬鍵盤(pán)，大量依靠多點(diǎn)觸摸，語(yǔ)音、攝像頭拍照?qǐng)D片、攝像頭拍攝視頻，成為信息產(chǎn)生的主流。這些數(shù)據(jù)多了、應(yīng)用需求多了，所以人工智能就在這些方面聚焦了。
為什么我一直強(qiáng)烈建議大家要在云上搞大數(shù)據(jù)，而不是私有部署大數(shù)據(jù)，就是因?yàn)槿斯ぶ悄苄枰髷?shù)據(jù)訓(xùn)練，尤其是實(shí)時(shí)的在線(xiàn)的大數(shù)據(jù)，只有源源不斷的、新鮮的大數(shù)據(jù)來(lái)訓(xùn)練，人工智能才能提升。
而且，站在社會(huì)化大數(shù)據(jù)收集、互聯(lián)網(wǎng)和電子商務(wù)業(yè)務(wù)開(kāi)展、企業(yè)SaaS開(kāi)展、產(chǎn)業(yè)鏈服務(wù)平臺(tái)開(kāi)放角度來(lái)看，云上的大數(shù)據(jù)也必然是趨勢(shì)。
（3）最后說(shuō)說(shuō)大數(shù)據(jù)的選型
一、先談?wù)劥髷?shù)據(jù)的獨(dú)特性
1、大數(shù)據(jù)需要的是全部數(shù)據(jù)而非抽樣數(shù)據(jù)
2、大數(shù)據(jù)需要實(shí)時(shí)、在線(xiàn)
3、關(guān)注運(yùn)算效率而不是精確
4、關(guān)注相關(guān)性而不是因果關(guān)系
二、再談?wù)劥髷?shù)據(jù)技術(shù)的成熟度
2011年，Hadoop1.0發(fā)布；2012年，OpenStack開(kāi)放給業(yè)界；2013年大數(shù)據(jù)查詢(xún)框架Presto發(fā)布；2014年，Spark1.0和Docker1.0發(fā)布；2015年，HBase1.0發(fā)布和分布式關(guān)系數(shù)據(jù)庫(kù)GreenPlum開(kāi)源，2015年區(qū)塊鏈技術(shù)OpenChain也開(kāi)源了；2016年，Storm1.0和Elastic5.0發(fā)布；
在人工智能領(lǐng)域，2015年2016年是爆發(fā)性的兩年。2015年微軟開(kāi)源了分布式機(jī)器學(xué)習(xí)包DMTK；2015年Google開(kāi)源了深度學(xué)習(xí)系統(tǒng)TensorFlow；2016年雅虎開(kāi)源了人工智能引擎Caffe On Spark；2016年Facebook開(kāi)源了圖像識(shí)別包DeepMark。
這么來(lái)看，大數(shù)據(jù)正處于蓬勃發(fā)展期，遠(yuǎn)遠(yuǎn)還沒(méi)有到達(dá)競(jìng)爭(zhēng)格局固定期。
三、再看看大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)
1、從數(shù)據(jù)收集方面來(lái)看：大數(shù)據(jù)主要還是通過(guò)自己自建互聯(lián)網(wǎng)、電商、物聯(lián)業(yè)務(wù)在收集，還有一些是通過(guò)戰(zhàn)略投資控股來(lái)收集。通過(guò)公開(kāi)的大數(shù)據(jù)交換甚至交易平臺(tái)來(lái)收集數(shù)據(jù)的還比較少，大家在公開(kāi)的數(shù)據(jù)售賣(mài)、數(shù)據(jù)風(fēng)險(xiǎn)安全、數(shù)據(jù)定價(jià)方面還有不少阻礙。公有區(qū)塊鏈技術(shù)和專(zhuān)有區(qū)
