新用戶(hù)登錄后自動(dòng)創(chuàng)建賬號(hào)
登錄近幾年,大數(shù)據(jù)這個(gè)概念已經(jīng)被炒的甚囂塵上。似乎大數(shù)據(jù)是一個(gè)無(wú)比高深的話(huà)題,碰巧,筆者在大學(xué)的研究方向就是和大數(shù)據(jù)相關(guān)的人工智能,而且也有很多朋友是在大型視頻網(wǎng)站團(tuán)購(gòu)網(wǎng)站等互聯(lián)網(wǎng)公司從事大數(shù)據(jù)相關(guān)工作,所以在這里就給大家介紹一下大數(shù)據(jù)的概念。當(dāng)然,我們不會(huì)去解釋大數(shù)據(jù)相關(guān)技術(shù)(CF協(xié)同濾波,MapReduce,DeepLearning等等),畢竟讀者們不太可能會(huì)去自己編寫(xiě)大數(shù)據(jù)的程序。我們只從應(yīng)用角度,給大家講講大數(shù)據(jù)的概念以及應(yīng)用方式。希望大家看完這一章后,可以知道,在自己的領(lǐng)域,可以怎樣用大數(shù)據(jù)的理念和方法,來(lái)提高效率。
大數(shù)據(jù)是什么?
雖然大數(shù)據(jù)聽(tīng)著是一個(gè)很高科技的詞兒,其實(shí)它早就滲透到你我的生活中,比如,你每天在網(wǎng)上看視頻時(shí),視頻網(wǎng)站推薦給你的視頻就是基于大數(shù)據(jù)。當(dāng)你在淘寶購(gòu)物時(shí),網(wǎng)頁(yè)邊欄推薦給你的也是基于大數(shù)據(jù)。要說(shuō)明白大數(shù)據(jù),首先我們要從一個(gè)大家都熟悉的簡(jiǎn)單概念說(shuō)起,那就是:數(shù)據(jù)分析?!皵?shù)據(jù)分析”是一個(gè)現(xiàn)代詞匯,但是利用數(shù)據(jù)分析的結(jié)果來(lái)指導(dǎo)行動(dòng),卻是古往今來(lái)一直都有的一個(gè)理念。網(wǎng)上有一段子:
林彪帶兵打仗的時(shí)候,有個(gè)特別的習(xí)慣,那就是每次戰(zhàn)斗結(jié)束后,都要用小本子記下所繳獲的武器種類(lèi)、數(shù)量等數(shù)據(jù),樂(lè)此不疲。大家對(duì)此都不以為意。有一天,在又一次遭遇戰(zhàn)后,士兵在給他念繳獲的武器數(shù)量時(shí),他突然叫停,然后興奮地指出,這次遭遇戰(zhàn)很可能遇到的是敵人的指揮部隊(duì)。原因是,這次繳獲的小槍與大槍的比例高于普通的戰(zhàn)斗,小車(chē)與大車(chē)的比例以及軍官與士兵的比例也都高于平均,因此他得到了這個(gè)結(jié)論。在這個(gè)數(shù)據(jù)的指導(dǎo)下,部隊(duì)一鼓作氣,追擊逃脫的部隊(duì),成功的把敵人的指揮官抓獲。
如果這個(gè)故事屬實(shí),那么這個(gè)可能是筆者知道的最早的基于嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)分析來(lái)指導(dǎo)行為的例子。進(jìn)入現(xiàn)代以后,人們對(duì)數(shù)據(jù)的分析應(yīng)用就更加頻繁。企業(yè)在做戰(zhàn)略規(guī)劃的時(shí)候要進(jìn)行數(shù)據(jù)分析,公司在做營(yíng)銷(xiāo)推廣方案時(shí)也要做數(shù)據(jù)分析。那么,“大數(shù)據(jù)”和前面說(shuō)的“數(shù)據(jù)分析”之間有什么關(guān)系和區(qū)別呢?
從粗獷到細(xì)致
我們知道,數(shù)據(jù)分析需要有幾個(gè)步驟:采集、統(tǒng)計(jì)、分析,而數(shù)據(jù)的總量直接和采集相關(guān)。在互聯(lián)網(wǎng)興起之前,人們采集數(shù)據(jù)的方式無(wú)外乎是人為觀察和記錄,當(dāng)然,后期也有利用傳感器來(lái)輔助記錄。但是,互聯(lián)網(wǎng)技術(shù)近幾年的發(fā)展,卻使得數(shù)據(jù)的采集水平記錄達(dá)到一個(gè)史無(wú)前例的高度。在互聯(lián)網(wǎng)時(shí)代之前,人們只能統(tǒng)計(jì)到一些基礎(chǔ)的用戶(hù)信息:年齡,住址,電話(huà),婚姻狀況等。到了互聯(lián)網(wǎng)時(shí)代,我們可以收集到一個(gè)用戶(hù)手機(jī)上裝有什么應(yīng)用,喜歡上什么網(wǎng)站,購(gòu)物記錄,在某個(gè)頁(yè)面上停留了多久,鼠標(biāo)在頁(yè)面什么位置點(diǎn)擊。而移動(dòng)互聯(lián)網(wǎng)時(shí)代的來(lái)臨,使得更多動(dòng)態(tài)數(shù)據(jù)可以被采集,比如用戶(hù)的 睡眠時(shí)間、運(yùn)動(dòng)量、位置、在商場(chǎng)內(nèi)的移動(dòng)路線(xiàn)、打車(chē)次數(shù)、心率等等信息。這些數(shù)據(jù)最終匯聚在一起,形成了一個(gè)非常龐大的數(shù)據(jù)庫(kù)。
以林彪帶兵打仗為例,假設(shè)他的小本子有500頁(yè),每頁(yè)上記滿(mǎn)1000個(gè)字,正反兩面都寫(xiě),那么總的數(shù)據(jù)量也就約=2M。這個(gè)和互聯(lián)網(wǎng)時(shí)代動(dòng)輒上T上P的數(shù)據(jù)量比,基本上是小巫見(jiàn)大巫。(1P約=1000T,1T約=1000G,1G約=1000M,一個(gè)大型視頻網(wǎng)站1秒鐘就能產(chǎn)生幾百M(fèi)的用戶(hù)數(shù)據(jù))。這些數(shù)據(jù)海量數(shù)據(jù)的集中,就形成了“大數(shù)據(jù)”的最重要的一個(gè)特征:多維度的、細(xì)致的、海量的數(shù)據(jù)。
注:“海量”并不是大數(shù)據(jù)的必要條件,它更多是因?yàn)閿?shù)據(jù)的維度多,粒度細(xì),而導(dǎo)致的數(shù)據(jù)量的增大。
從統(tǒng)計(jì)到預(yù)測(cè)
得益于先進(jìn)的機(jī)器學(xué)習(xí)算法,使得我們對(duì)大數(shù)據(jù)的使用,從統(tǒng)計(jì)一個(gè)數(shù)據(jù)結(jié)果,到利用結(jié)果和特性來(lái)推斷一個(gè)人可能進(jìn)行的行為。
《BigData》一書(shū)中提到一個(gè)很有意思的例子:一個(gè)父親突然收到一個(gè)百貨公司發(fā)給他的關(guān)于嬰兒用品的傳單,這個(gè)父親非常憤怒,因?yàn)樗呐畠翰胖挥?6歲?但是,過(guò)了幾天后,他卻上門(mén)道歉,因?yàn)?,?jīng)過(guò)和他女兒細(xì)聊,發(fā)現(xiàn)他的女兒確實(shí)懷孕了。
那么,百貨公司是如何預(yù)測(cè)一個(gè)人的行為呢?像上文所說(shuō),通過(guò)互聯(lián)網(wǎng),我們可以采集到大量用戶(hù)的種種信息,包括固定的屬性,和一些已有的行為;比如最近買(mǎi)了什么。經(jīng)過(guò)對(duì)采集到的數(shù)據(jù)分析,發(fā)現(xiàn)購(gòu)買(mǎi)嬰兒用品的人有如下特征:年齡范圍在14~40、買(mǎi)嬰兒用品前幾個(gè)月購(gòu)買(mǎi)大量酸味食品,等等等等。那么,得到這個(gè)結(jié)論后,再來(lái)一個(gè)有類(lèi)似特點(diǎn)的顧客,百貨公司就可以猜測(cè),她可能在未來(lái)一段時(shí)期內(nèi),對(duì)嬰兒用品感興趣。于是便向其發(fā)送對(duì)應(yīng)的廣告。
再比如,智能推薦廣告:視頻網(wǎng)站經(jīng)過(guò)統(tǒng)計(jì)發(fā)現(xiàn),點(diǎn)擊了啤酒廣告的人,有如下特點(diǎn):看體育類(lèi)戰(zhàn)爭(zhēng)類(lèi)視頻較多,看韓劇較少。那么很顯然,下次再有啤酒廣告時(shí),把它們投給這樣的用戶(hù)就更有效一些。
注:上面舉的這兩個(gè)例子,只是為了形象的說(shuō)明大數(shù)據(jù)預(yù)測(cè)是怎樣運(yùn)作的。在實(shí)際應(yīng)用中,大數(shù)據(jù)分析引擎要分析的屬性比這個(gè)細(xì)致的多,使用到的算法也比這個(gè)復(fù)雜的多,而且得到的很多結(jié)論,往往是沒(méi)有直觀的物理意義的一個(gè)組合概率模型。
從慢到快
上述兩個(gè)特點(diǎn)基本上已經(jīng)把大數(shù)據(jù)的形態(tài)給刻畫(huà)了出來(lái),但是,要到實(shí)際中應(yīng)用,還需要再加一個(gè)特點(diǎn):速度夠快。
數(shù)據(jù)收集起來(lái)之后,要使用的話(huà),就離不開(kāi)計(jì)算。當(dāng)數(shù)據(jù)的量級(jí)在幾個(gè)M時(shí),可能一個(gè)計(jì)算器就能滿(mǎn)足統(tǒng)計(jì)需求。當(dāng)數(shù)據(jù)量達(dá)到幾個(gè)G時(shí),就必須使用一臺(tái)計(jì)算機(jī)來(lái)計(jì)算。而當(dāng)有幾個(gè)T幾個(gè)P的數(shù)據(jù)擺在你面前時(shí),一臺(tái)計(jì)算機(jī)恐怕已經(jīng)難以勝任,很幸運(yùn)的是,我們有了云計(jì)算的概念。也就是說(shuō),將一個(gè)計(jì)算任務(wù),分配給”云端“的好多臺(tái)計(jì)算機(jī)同時(shí)進(jìn)行處理,從而達(dá)到對(duì)處理時(shí)間的苛刻要求。
云計(jì)算技術(shù)的發(fā)展,使得在大尺度上計(jì)算海量數(shù)據(jù)成為可能。如果沒(méi)有足夠快的處理速度,我們收集起來(lái)的用戶(hù)消費(fèi)數(shù)據(jù),算了半年才出一個(gè)結(jié)果,那估計(jì)用戶(hù)的消費(fèi)習(xí)慣、社會(huì)時(shí)尚已經(jīng)是時(shí)過(guò)境遷。除了處理速度快,還有一個(gè)因素也要快,那就是信息采集反饋的速度。比如,用戶(hù)電話(huà)打進(jìn)來(lái)的瞬間,我們是否立刻收集到該用戶(hù)相關(guān)信息,然后給出用戶(hù)可能的問(wèn)題預(yù)測(cè)?產(chǎn)品投放出去后,我們是否可以很快收集到銷(xiāo)量信息以及對(duì)應(yīng)的用戶(hù)數(shù)據(jù)?這一切,都決定了我們是否可以有效地將大數(shù)據(jù)的統(tǒng)計(jì)結(jié)果應(yīng)用到商業(yè)活動(dòng)中,最終使大數(shù)據(jù)從理論的圣壇上走下來(lái),產(chǎn)生了實(shí)際的商業(yè)價(jià)值。綜上所述,大數(shù)據(jù)并不是玄乎其玄的東西,它只是在幾種現(xiàn)代技術(shù)的推動(dòng)下,將數(shù)據(jù)分析做到了極致的結(jié)果。
大數(shù)據(jù)的應(yīng)用場(chǎng)景
大數(shù)據(jù)誕生以來(lái),在各個(gè)領(lǐng)域都有非常多的應(yīng)用,比如改善航線(xiàn)、預(yù)測(cè)污染、優(yōu)化醫(yī)療等等。這里,我們把應(yīng)用方式分成兩大類(lèi),分別介紹一下。
精準(zhǔn)的廣告投放
我們知道廣告界的一個(gè)難題“如何找到對(duì)的那一半人”。而大數(shù)據(jù)正是可以用來(lái)更加精準(zhǔn)的定位廣告的目標(biāo)用戶(hù)。廣告投放包括第三方廣告渠道和自有廣告渠道兩種:
第三方廣告渠道由于是第三方操作的,所以對(duì)于廣告主來(lái)說(shuō)只能去選擇合適的渠道種類(lèi)。第三方渠道總體上可以分為兩大類(lèi):互聯(lián)網(wǎng)廣告渠道(視頻網(wǎng)站、門(mén)戶(hù)網(wǎng)站、廣告聯(lián)盟等)和非互聯(lián)網(wǎng)廣告渠道(戶(hù)外廣告、樓宇廣告、電視廣告等)。目前,互聯(lián)網(wǎng)廣告已經(jīng)在大數(shù)據(jù)精準(zhǔn)投放上走的比較遠(yuǎn),比如前面說(shuō)的視頻網(wǎng)站根據(jù)用戶(hù)點(diǎn)播行為,來(lái)投放合適的廣告類(lèi)型。所以,在這樣的渠道上投放廣告時(shí),只需要廣告主能和渠道方合作定義好自己的用戶(hù)群,便可以將廣告投放的比較精準(zhǔn)。
非互聯(lián)網(wǎng)廣告渠道,因?yàn)闆](méi)有特別有效的用戶(hù)細(xì)分手段(廣告只能投放到人群,而非個(gè)人),投放形式本身就限制了其精準(zhǔn)的效果。對(duì)此,未來(lái)的一個(gè)出路就是,各種路牌廣能采集到附近用戶(hù)的信息,來(lái)動(dòng)態(tài)調(diào)整廣告內(nèi)容。
比如,沒(méi)有廣告牌都有一個(gè)iBeacon設(shè)備,會(huì)和打開(kāi)iBeacon連接的手機(jī)產(chǎn)生互動(dòng),根據(jù)手機(jī)信息,反查到用戶(hù)的性別,從而決定顯示什么廣告。
而對(duì)于自有廣告渠道來(lái)說(shuō),我們可以操作的空間就比較大。拿短息渠道為例,很多公司都會(huì)通過(guò)手機(jī)短信,給用戶(hù)發(fā)送最新的促銷(xiāo)信息,但是,以往這種信息通常是全量發(fā)送,或者是根據(jù)一定的可視化的分類(lèi)(例如,信用卡的消費(fèi)額度)來(lái)分類(lèi)發(fā)送促銷(xiāo)信息。而我們有了大數(shù)據(jù)的武器后,就可以對(duì)用戶(hù)群進(jìn)行進(jìn)一步細(xì)分,甚至是1對(duì)1的發(fā)送。比如,信用卡公司可以根據(jù)用戶(hù)的刷卡的頻次、場(chǎng)所、購(gòu)物內(nèi)容、還款的及時(shí)性、消費(fèi)時(shí)段等等來(lái)作為分析因素,來(lái)預(yù)測(cè)用戶(hù)對(duì)什么樣的商品感興趣,從而發(fā)送相應(yīng)的商品廣告。再比如,化妝品公司,可以根據(jù)用戶(hù)的年齡、工作內(nèi)容、作息習(xí)慣、娛樂(lè)場(chǎng)所、季節(jié)、婚育狀況、衣著習(xí)慣、朋友圈話(huà)題等等,來(lái)預(yù)測(cè)她可能更關(guān)心什么樣的皮膚護(hù)理問(wèn)題,從而推薦對(duì)應(yīng)的化妝品門(mén)類(lèi)。通過(guò)對(duì)多維度、細(xì)致的信息分析,使得廣告推送更有針對(duì)性
個(gè)性化的用戶(hù)服務(wù)定制
個(gè)性化服務(wù)要解決的問(wèn)題是,不同用戶(hù)服務(wù)內(nèi)容和定價(jià)的個(gè)性化。以我們熟知的車(chē)險(xiǎn)為例,目前的定價(jià)方式,只是簡(jiǎn)單的根據(jù)用戶(hù)的年齡、駕齡、婚姻狀況、車(chē)價(jià)和以往的車(chē)險(xiǎn)理賠記錄等顯式的屬性來(lái)進(jìn)行區(qū)分,而在大數(shù)據(jù)時(shí)代,則可以把這種區(qū)分做到極致的個(gè)性化。比如,我們可以統(tǒng)計(jì)用戶(hù)的駕駛習(xí)慣(駕駛時(shí)間,單次駕駛時(shí)長(zhǎng))、駕駛環(huán)境(常去路線(xiàn)的交通狀況、總體事故率、季節(jié)天氣)、身體狀況(生病頻率等),來(lái)更加針對(duì)性的對(duì)用戶(hù)的理賠概率進(jìn)行估計(jì),從而得到更加合理的投保額度。再比如,對(duì)于培訓(xùn)機(jī)構(gòu)來(lái)說(shuō),可以分析特定屬性的用戶(hù)(年齡、性別、各種成績(jī)等),對(duì)特定類(lèi)型的授課方式或者授課內(nèi)容的成績(jī)反應(yīng),來(lái)有針對(duì)性的進(jìn)行課業(yè)的搭配,從而使每個(gè)用戶(hù)的成績(jī)達(dá)到最大化。同樣,醫(yī)學(xué)領(lǐng)域,也可以利用大數(shù)據(jù)來(lái)進(jìn)行個(gè)性化疾病預(yù)防和治療。智能穿戴設(shè)備為這一切打下了堅(jiān)實(shí)的基礎(chǔ):
手環(huán),監(jiān)測(cè)你的運(yùn)動(dòng)量、心跳變化
智能血壓儀,每天監(jiān)測(cè)血壓
體重秤,每天體重變化
空氣凈化器,監(jiān)測(cè)環(huán)境的污染情況
上網(wǎng)習(xí)慣,檢測(cè)你的作息時(shí)間
訂餐記錄,檢測(cè)你的飲食情況
如果以后有了更方便的血液檢測(cè)手段,每天能獲得血液檢測(cè)記錄,那將是更有效的數(shù)據(jù)
這些數(shù)據(jù)分散開(kāi)的話(huà),最多只會(huì)影響對(duì)人們的生活習(xí)慣,比如,體重重了,要少吃多運(yùn)動(dòng)。但是一旦數(shù)據(jù)全都被打通,結(jié)合大數(shù)據(jù)分析技術(shù),就可以預(yù)測(cè)出每個(gè)人的疾病發(fā)病概率。對(duì)每個(gè)人治療時(shí),也可以在藥物和用量上變得更加有針對(duì)性。
機(jī)遇與挑戰(zhàn)
大數(shù)據(jù)應(yīng)用在國(guó)外已經(jīng)興起很長(zhǎng)時(shí)間,但是在國(guó)內(nèi),卻是剛剛起步階段。一方面是國(guó)內(nèi)對(duì)數(shù)據(jù)收集的管控比較嚴(yán),導(dǎo)致數(shù)據(jù)基礎(chǔ)設(shè)施沒(méi)有跟上。而更重要的,還是人們對(duì)大數(shù)據(jù)的理念還沒(méi)有完全吃透,大部分大數(shù)據(jù)應(yīng)用的思想,只為專(zhuān)業(yè)的大數(shù)據(jù)工程師所掌握。而就在我們還沒(méi)有準(zhǔn)備迎接傳統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)的潮流時(shí),近幾年,移動(dòng)互聯(lián)網(wǎng)有了勢(shì)如破竹的發(fā)展。大部分公司,移動(dòng)端業(yè)務(wù),都已經(jīng)超過(guò)了PC網(wǎng)站,這給大數(shù)據(jù)帶來(lái)了新的機(jī)遇與挑戰(zhàn):
(隨著種種O2O連接技術(shù)的發(fā)展,使得商家能夠更方便的觸摸到附近的用戶(hù),而因?yàn)橛脩?hù)的移動(dòng)性,需要商家能夠在用戶(hù)經(jīng)過(guò)線(xiàn)下店的短暫時(shí)間內(nèi)作出響應(yīng))
如果廣大產(chǎn)品設(shè)計(jì)者,能夠充分掌握大數(shù)據(jù)思想,在設(shè)計(jì)產(chǎn)品時(shí),打通數(shù)據(jù)之間的壁壘,將海量數(shù)據(jù)同服務(wù)更加有效的連接起來(lái),相信各個(gè)行業(yè)都會(huì)迎來(lái)一片更廣闊的天地。
找回密碼
注冊(cè)賬號(hào)