大數(shù)據(jù)能夠改變什么
大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機分析法(抽樣調(diào)查)這樣的捷徑,而采用所有數(shù)據(jù)進行分析處理。大數(shù)據(jù)的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。一起來看看大數(shù)據(jù)能夠改變什么吧!
1、大數(shù)據(jù)時代來了
隨著社交網(wǎng)絡(luò)的逐漸成熟,移動帶寬迅速提升,云計算、物聯(lián)網(wǎng)應(yīng)用更加豐富。更多的傳感設(shè)備、移動終端接入到網(wǎng)絡(luò),由此產(chǎn)生的數(shù)據(jù)及增長速度將比歷史上的任何時期都要多,都要快。未來的十年將是一個“大數(shù)據(jù)”引領(lǐng)的智慧科技的時代。
時過年中,方凡對“幸福的煩惱”體會逾深。他是北京水晶石數(shù)字科技有限公司的CIO,重要的職責(zé)就是為這個龐大的“視覺展示制造器”提供源源不斷的計算支持。公司自2008年北京奧運會一舉成名后,包括上海世博會、深圳大運會和倫敦奧運會在內(nèi)的大型訂單相繼而至,“生意最近好的不得了”,他也成為了公司最忙碌的人之一。
此時的水晶石正站在一個臨界點上,營業(yè)額將由8億元繼續(xù)攀升,員工近3300人,經(jīng)常要承接其他公司所無法拿下的大型訂單。同時,一些新的業(yè)務(wù)模式也正被創(chuàng)造出來。比如,水晶石為萬科、SOHO中國等房地產(chǎn)企業(yè)打造在線房產(chǎn)服務(wù),顧客在網(wǎng)上瀏覽時,可以從各個角度考察房源,甚至可以自己動手進行DIY模擬裝修。
在方凡看來,水晶石能夠成為行業(yè)翹楚,多年來在大數(shù)據(jù)上積累的雄厚實力十分關(guān)鍵。視覺展示行業(yè)極度依賴數(shù)據(jù),水晶石每年的數(shù)據(jù)量都要增長上百個PB,背后需要龐大的計算、存儲和網(wǎng)絡(luò)能力的支撐。簡單一點來說,渲染一個大型的高清圖像,別人需要100個小時,水晶石卻可以調(diào)動3倍以上的計算資源和人員儲備,在10個小時內(nèi)完成。
“大數(shù)據(jù)融入企業(yè)越深,就越考驗企業(yè)的投資和儲備能力,企業(yè)的級別將立判高下。”方凡甚至表示,視覺展示行業(yè)已經(jīng)進入一個為大數(shù)據(jù)不斷燒錢的階段。
麥肯錫全球研究院對這樣的趨勢做了專門研究,其發(fā)布的《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)率提高的前沿領(lǐng)域》報告稱,大數(shù)據(jù)將大幅提升傳統(tǒng)行業(yè)的運營效率,并催生更多的新型業(yè)務(wù)應(yīng)用和商業(yè)模式,而有效投資和利用大數(shù)據(jù),已經(jīng)成為了行業(yè)領(lǐng)軍者的制勝法寶。
2、企業(yè)與大數(shù)據(jù)結(jié)緣
多年來,有關(guān)海量數(shù)據(jù)的討論已讓人審美疲勞,現(xiàn)在又提出大數(shù)據(jù),究竟有何不同?是否有炒作的嫌疑?一個有趣的現(xiàn)象是,包括IBM、HP、Oracle、SAP等跨國IT巨頭,咨詢公司以及歐美企業(yè)對大數(shù)據(jù)的討論趨于熱烈,剔除其中的炒作成分,不乏有價值的技術(shù)解決方案和最佳實踐,而多位國內(nèi)CIO坦稱也正在關(guān)注大數(shù)據(jù)。
有不少人正在嘗試勾勒大數(shù)據(jù)的面貌,讓其由模糊走向清晰。IDC全球存儲及大數(shù)據(jù)研究項目副總裁一直在研究大數(shù)據(jù),簡單一點說,大數(shù)據(jù)不僅僅是海量數(shù)據(jù),它更為復(fù)雜,更追求數(shù)據(jù)處理的速度,企業(yè)也更注重挖掘其中的價值。
華爾街老兵,投資公司創(chuàng)始人羅杰?依倫伯格最近也撰文暢談所看到的大數(shù)據(jù)投資前景:“我們還處在這場由數(shù)據(jù)驅(qū)動的革命的初始階段?,F(xiàn)今,這些機遇已讓人興奮不已,未來,這些機遇所能帶來的變革必將超乎我的想象。”
這些判斷似乎都能自圓其說,但對于講求實際效益的商業(yè)世界而言,大數(shù)據(jù)究竟能帶來多大的改變?
作為中信銀行信用卡中心數(shù)據(jù)倉庫室項目總監(jiān),顧小波明顯感覺到新的挑戰(zhàn)正在來臨。隨著中信銀行信用卡用戶突破1100萬,需要挖掘的數(shù)據(jù)量正在膨脹,傳統(tǒng)利用SPSS統(tǒng)計分析軟件建模的方式已經(jīng)有些力不從心,而如果采用抽樣統(tǒng)計分析的方式,有些新的用戶行為特征或業(yè)務(wù)趨勢就會被忽略。
更重要的是,隨著銀行信用卡競爭已經(jīng)從初期“跑馬圈地”進入精細化耕作的新階段,用戶使用行為的數(shù)據(jù)量增長已經(jīng)快過新增用戶的增速,原先寬松和粗獷的大筆投資已不可能,銀行需要將更多的精力放在維護客戶和挖掘客戶價值上面,以獲得更多的收益。
多年前,中信銀行率先將信用卡用戶分析數(shù)據(jù)應(yīng)用于電話銷售業(yè)務(wù)中,坐席人員不再是大海撈針式的忙碌,中信銀行的電話保險業(yè)務(wù)購買率一年內(nèi)就實現(xiàn)了30%的增長。現(xiàn)在,顧小波正推動信用卡數(shù)據(jù)倉庫部門與更多的業(yè)務(wù)部門進行對接。
比如,現(xiàn)在中信銀行的用戶只需刷卡三筆,立刻就能享受到9元購買電影票的優(yōu)惠。在以前,中信銀行的核心業(yè)務(wù)系統(tǒng)在處理完當天的交易信息后,再過幾天,才能被識別出滿足促銷條件的用戶。
同時,顧小波還在對中信信用卡網(wǎng)站的用戶使用行為進行分析,這些非結(jié)構(gòu)化數(shù)據(jù)以前是被忽略的,現(xiàn)在中信已可以及時了解用戶在哪一步放棄了哪項業(yè)務(wù),從而改正網(wǎng)站業(yè)務(wù)設(shè)計中的不足。
中信銀行信用卡部門在大數(shù)據(jù)中面臨的挑戰(zhàn)與機遇,幾乎大部分的企業(yè)都會遇到,這也是大數(shù)據(jù)與以往所提的數(shù)據(jù)挖掘與商業(yè)智能的不同之處:一是數(shù)據(jù)量快速攀升,傳統(tǒng)的數(shù)據(jù)挖掘工具已經(jīng)無法應(yīng)對全量分析的需求;二是對于數(shù)據(jù)處理速度的要求越來越高,更快的速度意味著更好的用戶體驗和更迅即的商業(yè)決策;三是非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)日增,有效的收集和處理將帶來更多的業(yè)務(wù)價值。
在支付寶,大數(shù)據(jù)正影響著公司從上到下的決策和業(yè)務(wù)運作。目前,通過利用“PC服務(wù)器集群+開源軟件”、采用數(shù)據(jù)庫軟件等手段,支付寶每天可以對僅300億條用戶交易數(shù)據(jù)進行查詢,結(jié)果可以在20毫秒內(nèi)返回。
這帶來了兩大好處:一是可以有效控制風(fēng)險,一旦用戶在超乎常規(guī)的地點登陸,或者進行超過2000元以上的大額轉(zhuǎn)賬,支付寶會根據(jù)對用戶使用行為的歷史分析,進行主動的風(fēng)險攔截;二是可以進行實時的營銷業(yè)務(wù)推送,比如用戶一旦購買了珠寶等高價商品,支付寶會立刻向其推送一個消費紅包,馬上就可以進行二次消費,以增強用戶粘性。
蔣杰認為,做到這一切的秘訣在于支付寶正實現(xiàn)online與offline數(shù)據(jù)挖掘的融合,這使得商業(yè)智能已不僅僅是針對歷史數(shù)據(jù)的分析和報表呈現(xiàn),而是可以做一些針對大數(shù)據(jù)的實時處理結(jié)果,實現(xiàn)對業(yè)務(wù)應(yīng)用的可伸縮性調(diào)整。例如,廣告營銷業(yè)務(wù)部門可以通過利用支付寶數(shù)據(jù)庫的分析數(shù)據(jù),監(jiān)控營銷活動的效果,一旦不為用戶接受,就立刻做出調(diào)整,而網(wǎng)站UI設(shè)計師也可以從用戶訪問軌跡中,探尋到導(dǎo)致用戶放棄購買行為的設(shè)計缺陷,從而進行設(shè)計優(yōu)化。
“支付寶已經(jīng)成為數(shù)據(jù)化運營的公司,從CEO到業(yè)務(wù)人員以及數(shù)據(jù)挖掘分析師,都有利用數(shù)據(jù)挖掘的場所,可以說是全員數(shù)據(jù)化,大數(shù)據(jù)已經(jīng)成為支付寶最大的財富。”目前,支付寶的用戶已超6億,預(yù)計今年年底數(shù)據(jù)量會增至1.8PB,蔣杰總結(jié)出一個定律:支付寶的交易量每年會翻倍,而數(shù)據(jù)量增長則會增長四倍左右。對于支付寶而言,這將是企業(yè)數(shù)據(jù)化生存的重要機遇。
某種程度上說,大數(shù)據(jù)也強調(diào)商業(yè)智能的重要性,但它呈現(xiàn)出來的新特性,正試圖超越商業(yè)智能的范疇,從而開辟企業(yè)進行商業(yè)優(yōu)化的新疆界。
3、大數(shù)據(jù)引領(lǐng)行業(yè)變革
去年10月,北京海淀區(qū)稻香湖金融服務(wù)區(qū)的200畝地被“圈走”,這里將籌建證券行業(yè)的行業(yè)數(shù)據(jù)中心,屆時,各大券商將把自家數(shù)據(jù)共享至此,一方面省去了自建災(zāi)備中心的投入,另一方面這個數(shù)據(jù)中心將為整個行業(yè)提供全新的增值服務(wù)。
民族證券總工程師馬光悌參與了該項目的認證和籌劃,并將其視為“影響整個行業(yè)的大事件”。在他看來,行業(yè)數(shù)據(jù)中心是證券行業(yè)應(yīng)對大數(shù)據(jù)的有益嘗試,憑借其計算能力,證券公司可以對當天的交易數(shù)據(jù)進行更為迅速的分析,響應(yīng)速度將獲得提升。同時,共享的行業(yè)數(shù)據(jù)可以使得券商拿到更為全面和準確的行業(yè)分析結(jié)果,這是券商自建數(shù)據(jù)中心所不能獲得的增值服務(wù)。
在不久的將來,大數(shù)據(jù)或許能呈現(xiàn)出改變整個行業(yè)的力量。
國家電網(wǎng)公司去年建成了電力云仿真實驗室,其中一個重要課題就是如何解決海量數(shù)據(jù)存儲與運算的難題。國網(wǎng)信通公司云計算與信息資源中心主任吳凱峰表示,大數(shù)據(jù)是國網(wǎng)實現(xiàn)智能電網(wǎng)必須要面臨的挑戰(zhàn),一方面,國網(wǎng)在輸電線路上布設(shè)了大量的監(jiān)控點,每秒都要傳回海量數(shù)據(jù),同時,智能電表實現(xiàn)規(guī)模推廣后,電網(wǎng)公司需要縮短用電數(shù)據(jù)的收集時間,數(shù)據(jù)量也將激增。
“這就出現(xiàn)一個難題,就是如何在下一個數(shù)據(jù)采集高峰期來臨之前,將上一次采樣結(jié)果計算出來。而準確分析用戶的用電行為,將為制定階梯電價,以及達到輸電與用電的平衡,提供重要的決策支持。”吳凱峰稱,相關(guān)解決方案還在測試當中,但有效應(yīng)對大數(shù)據(jù)的挑戰(zhàn),將是實現(xiàn)電網(wǎng)互動的關(guān)鍵之一。
不過,國網(wǎng)公司的智能互動嘗試并不僅限在電力行業(yè),它正試圖推動相關(guān)行業(yè)的產(chǎn)業(yè)變革。在國網(wǎng)對于未來智能電網(wǎng)的藍圖中,已經(jīng)將版圖擴張至電動汽車與充電設(shè)施、家庭新能源利用、智能家居和電力光線到戶等領(lǐng)域。
為此,國網(wǎng)今年將大力建設(shè)67座智能變電站,推廣應(yīng)用5000萬具智能電表,并新建173座充換電站和9211個充電樁,完成25個智能小區(qū)/樓宇建設(shè)。
據(jù)業(yè)內(nèi)人士分析,智能電網(wǎng)相關(guān)產(chǎn)業(yè)要從試點走向快速發(fā)展,它們與電網(wǎng)公司的智能對接將是關(guān)鍵,需要實現(xiàn)無縫和實時的數(shù)據(jù)傳輸,而這無疑將考驗著國網(wǎng)應(yīng)對大數(shù)據(jù)的能力。
而在麥肯錫的報告中,仔細分析了美國醫(yī)療行業(yè)、歐洲政府公共服務(wù)、美國零售業(yè)、全球制造業(yè)以及個人位置信息行業(yè)——它們在2010年占據(jù)了全球GDP約40%的份額,據(jù)稱,它們均可借助大數(shù)據(jù)實現(xiàn)新的行業(yè)增值轉(zhuǎn)型。例如,麥肯錫預(yù)計,美國醫(yī)療健康行業(yè)每年可以從海量數(shù)據(jù)中實現(xiàn)超過3000億美元的價值,而善于利用大數(shù)據(jù)的零售商可以提升約60%的利潤空間。
不過,在水晶石CIO方凡看來,擺在大數(shù)據(jù)面前的依然有很多難題。比如在技術(shù)層面,企業(yè)需要提升計算、存儲和網(wǎng)絡(luò)交換等方面的能力,三者不可偏廢。此外,一旦針對大數(shù)據(jù)的業(yè)務(wù)需求呈現(xiàn)波峰波谷的巨大落差,企業(yè)將面臨兩難的選擇——不投資IT基礎(chǔ)設(shè)施,將無法應(yīng)對挑戰(zhàn),而如果做了投資,業(yè)務(wù)量一旦下滑,前期的投資會打了水漂,這是一個需要仔細拿捏權(quán)衡的難題。
“大數(shù)據(jù)不是一夜之間產(chǎn)生的,CIO的最大任務(wù)就是貼近業(yè)務(wù)的發(fā)展需求,用最少的投資滿足企業(yè)最大限度的發(fā)展需求。”方凡稱。
相關(guān)文章: