大數(shù)據(jù)分析與人工智能

時(shí)間：2017-04-20 17:32:22 岳彬1043由分享

　　大數(shù)據(jù)不是一個(gè)單一的現(xiàn)象，在過去5～10年，借著越來越強(qiáng)大的計(jì)算能力，加上知識挖掘等算法上的突飛猛進(jìn)，我們可以構(gòu)建更大的模型。下面是學(xué)習(xí)啦小編為你整理的大數(shù)據(jù)分析與人工，供大家閱覽!

　　大數(shù)據(jù)與人工智能

　　我們都知道，其實(shí)很多的人工智能、機(jī)器智能，或者驅(qū)動(dòng)一個(gè)數(shù)字世界的自動(dòng)化，都需要模型。在過去的很長一段時(shí)間內(nèi)，這些模型因?yàn)閿?shù)據(jù)的不足，通常只能做一些小的模型或者淺的模型，但特別在過去的兩三年里，在機(jī)器學(xué)習(xí)領(lǐng)域有了突飛猛進(jìn)的發(fā)展，可以構(gòu)建更大、更深度的模型。

　　另外是知識挖掘，知識挖掘是怎樣在互聯(lián)網(wǎng)上大規(guī)模進(jìn)行的?在這些結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)中構(gòu)建人類最完整的知識表達(dá)，一旦我們掌握了這樣的表達(dá)，我們就可以對很多的數(shù)據(jù)做更深度的理解。

　　軟件產(chǎn)業(yè)新時(shí)代

　　微軟為什么看重大數(shù)據(jù)?微軟是從一家軟件企業(yè)開始的，在30年前，微軟就知道軟件會改變?nèi)澜纾浖缀蹩梢宰鏊械氖虑?。但今天，軟件的時(shí)代已經(jīng)不一樣了。過去是程序員寫，接下來的軟件是靠數(shù)據(jù)，靠機(jī)器學(xué)習(xí)，自動(dòng)寫出軟件。這意味著什么?當(dāng)你擁有更大的數(shù)據(jù)的時(shí)候，軟件就更強(qiáng)大，軟件的性能就更好。大數(shù)據(jù)加上機(jī)器學(xué)習(xí)，這代表了軟件產(chǎn)業(yè)一個(gè)新時(shí)代來臨：不再是人寫軟件，是數(shù)據(jù)加算法，在數(shù)字化之后，以計(jì)算機(jī)驅(qū)動(dòng)，用光速來推進(jìn)我們?nèi)祟惿鐣姆椒矫婷?。因?yàn)槎际强繑?shù)據(jù)和算法，我們能夠產(chǎn)生一個(gè)非常大的一個(gè)信息量，所以我們看重下一代所有的應(yīng)用和服務(wù)。

　　今天，為什么各個(gè)大公司都在不斷地在人才、技術(shù)方面大量投入?就是因?yàn)槲覀円呀?jīng)在過去的幾年不斷地對這些數(shù)據(jù)進(jìn)行加工，我們已經(jīng)越來越接近從數(shù)據(jù)到信息，到知識到科技。

　　語音識別過去十幾年一直沒有突破，但就在這兩年實(shí)現(xiàn)了很大進(jìn)展。其中重要原因就是因?yàn)橛幸环N新的機(jī)器學(xué)習(xí)，可以從數(shù)據(jù)里面學(xué)表達(dá)方式，做很多模式識別。大家知道做影像、語音等最難的是怎么找出特征向量表示數(shù)據(jù)，過去的二三十年的研究都在研究怎么找特征，大數(shù)據(jù)來到的時(shí)候我們發(fā)現(xiàn)，特征也可以直接從數(shù)據(jù)去學(xué)。而且在這個(gè)過程中我們發(fā)現(xiàn)一個(gè)非常有趣的現(xiàn)象，就是越大的數(shù)據(jù)表達(dá)方式越好。因?yàn)閿?shù)據(jù)大，信息就增加，所以技術(shù)上的突破就是計(jì)算能力和數(shù)據(jù)大了，而且自動(dòng)學(xué)出來的發(fā)現(xiàn)比過去人設(shè)計(jì)的特征向量更好。

　　大數(shù)據(jù)的城市應(yīng)用

　　今天的技術(shù)非常令人興奮，但今天很多城市里面的數(shù)據(jù)都是很低階的，這么大的數(shù)據(jù)如何表達(dá)?今天深度學(xué)習(xí)、機(jī)器學(xué)習(xí)帶來了革命性的機(jī)會。過去兩年我們也把這樣的機(jī)器學(xué)習(xí)開始應(yīng)用在城市，所以微軟有一個(gè)城市計(jì)算的項(xiàng)目。在北京，我們收集了很多方面跟城市有關(guān)的數(shù)據(jù)，例如北京交通路網(wǎng)的數(shù)據(jù)、北京商業(yè)各方面的歷年數(shù)據(jù)，我們可以發(fā)現(xiàn)很多現(xiàn)象，比如北京過去10年酒吧在哪里越來越多，電影院也在一些地方增加了，這些其實(shí)代表了這個(gè)城市的發(fā)展。還有空氣的數(shù)據(jù)、氣象的數(shù)據(jù)等。我們還搜集了北京的30000輛出租車，特別裝有定位系統(tǒng)的數(shù)據(jù)，這樣便可以用出租車當(dāng)做傳感器實(shí)時(shí)檢測城市的脈動(dòng)，甚至交通的狀況，可以算出更好的開車路徑。

　　過去兩年，微軟與北京市政府及中國的高校合作，在城市計(jì)算這一領(lǐng)域?qū)崿F(xiàn)了很多科研成果。大數(shù)據(jù)可以分析城市問題，改善城市規(guī)劃。

　　空氣質(zhì)量是今天的城市居民最關(guān)注的一個(gè)話題。北京這么大規(guī)模的城市，現(xiàn)在只有15個(gè)空氣檢測站點(diǎn)，非常稀疏，每個(gè)站點(diǎn)的投入和花費(fèi)與運(yùn)營非常高。這些站點(diǎn)在任何時(shí)刻給的數(shù)據(jù)都是非常不一樣的，說明一個(gè)城市里面空氣質(zhì)量分布是不均勻的。今天我們的問題是能不能用大數(shù)據(jù)，用機(jī)器學(xué)習(xí)的方法預(yù)測那些沒有空氣站點(diǎn)的地點(diǎn)的空氣質(zhì)量。我們也利用了大數(shù)據(jù)把歷史上所有這些我們可以收集到的，關(guān)于偵測帶里的歷史的數(shù)據(jù)、氣象數(shù)據(jù)、交通數(shù)據(jù)、人員流動(dòng)等數(shù)據(jù)，建一個(gè)非常大的模型，包含空間和時(shí)間的預(yù)測，能夠在有限的15個(gè)站點(diǎn)之上，進(jìn)一步預(yù)測所有的位置。這就是大數(shù)據(jù)在智能城市里的應(yīng)用，其中既有數(shù)據(jù)分析，而且是海量和一致性的數(shù)據(jù)。

　　實(shí)驗(yàn)證明，雖然我們用的很多數(shù)據(jù)從某個(gè)角度來講是比較弱的信號，但是把大量相關(guān)的相對弱的信號收集起來，居然比原來最好的模型還好20%。利用大數(shù)據(jù)對整個(gè)城市的空氣做預(yù)測的模型是非常有價(jià)值的，這預(yù)示了這樣的應(yīng)用將不只在城市，而是會進(jìn)到人類社會方方面面，各個(gè)產(chǎn)業(yè)都會被大數(shù)據(jù)帶動(dòng)，用更智能的算法，讓過程變得更有效。