新用戶登錄后自動(dòng)創(chuàng)建賬號(hào)
登錄2015年12月10-12日,由中國計(jì)算機(jī)學(xué)會(huì)(CCF)主辦,CCF大數(shù)據(jù)專家委員會(huì)承辦,中國科學(xué)院計(jì)算技術(shù)研究所、北京中科天璣科技有限公司與CSDN共同協(xié)辦,以“數(shù)據(jù)安全、深度分析、行業(yè)應(yīng)用”為主題的 2015中國大數(shù)據(jù)技術(shù)大會(huì) ( Big Data Technology Conference 2015,BDTC 2015)在北京新云南皇冠假日酒店盛大開幕。
2015中國大數(shù)據(jù)技術(shù)大會(huì)第三天的交通與旅游大數(shù)據(jù)分論壇中,來自北京市交通運(yùn)行監(jiān)測調(diào)度中心、神州專車、高德、 攜程、途牛、途家的六位專家與教授分享了政府和企業(yè)利用大數(shù)據(jù)在交通與旅游方面的實(shí)踐。本次論壇由CSDN副總編董世曉主持。
CSDN副總編 董世曉
北京市交通運(yùn)行監(jiān)測調(diào)度中心副主任張可:北京市綜合交通運(yùn)行數(shù)據(jù)體系建設(shè)與應(yīng)用
北京市交通運(yùn)行監(jiān)測調(diào)度中心(TOCC) 建成于 2010年底,2011年5月機(jī)構(gòu)設(shè)立,是北京市綜合交通運(yùn)輸協(xié)調(diào)體系的重要組成部分。現(xiàn)已形成運(yùn)行監(jiān)測體系、協(xié)調(diào)調(diào)度體系、信息服務(wù)體系為一體的總體業(yè)務(wù)格局。
北京市交通運(yùn)行監(jiān)測調(diào)度中心副主任 張可
張可談到北京市面向綜合交通運(yùn)行分析的監(jiān)測數(shù)據(jù)體系。針對(duì)龐大的基礎(chǔ)數(shù)據(jù)內(nèi)容和數(shù)據(jù)量,重點(diǎn)圍繞綜合交通監(jiān)測及運(yùn)行分析需求,通過對(duì)數(shù)據(jù)層的歸納梳理,結(jié)合數(shù)據(jù)來源、數(shù)據(jù)接入方式統(tǒng)一設(shè)計(jì)數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。圍繞城市路網(wǎng)區(qū)域和路段的運(yùn)行特征,構(gòu)建了交通指數(shù)、運(yùn)行速度、擁堵持續(xù)時(shí)間等7個(gè)指標(biāo)項(xiàng);根據(jù)AFC和運(yùn)營數(shù)據(jù),構(gòu)建軌道交通動(dòng)態(tài)客流指標(biāo)、軌道交通客運(yùn)量指標(biāo)、軌道列車運(yùn)行指標(biāo);通過出租車GPS數(shù)據(jù)和計(jì)價(jià)器數(shù)據(jù),構(gòu)建出租車運(yùn)力指標(biāo)、運(yùn)營特性指標(biāo)、運(yùn)營安全與規(guī)范指標(biāo);通過對(duì)交叉領(lǐng)域關(guān)聯(lián)性較強(qiáng)數(shù)據(jù)項(xiàng)之間的深入挖掘,提出了反映城市綜合交通運(yùn)行特點(diǎn)的相關(guān)指標(biāo),如軌道交通客運(yùn)量占比、公交運(yùn)送速度比、城際客運(yùn)量及占比等綜合指標(biāo)定制化多粒度復(fù)合特征提取。
該中心同時(shí)建立了集綜合交通動(dòng)態(tài)運(yùn)行監(jiān)測分析、視頻資源管理應(yīng)用、公眾信息統(tǒng)一發(fā)布于一體的省級(jí)綜合交通運(yùn)行監(jiān)測業(yè)務(wù)平臺(tái)。其中視頻資源管理應(yīng)用平臺(tái)包括數(shù)字化的視頻資源管理平臺(tái)、基于GIS的視頻應(yīng)用平臺(tái)、基于圖像智能提取技術(shù)的視頻智能分析平臺(tái)。統(tǒng)一的公眾信息發(fā)布平臺(tái)通過信息獲取、信息編輯、信息審核、信息發(fā)布、信息歸檔、發(fā)布渠道對(duì)接、統(tǒng)計(jì)分析實(shí)現(xiàn)進(jìn)真正一體化的、多方式的綜合出行服務(wù)。在整合既有交通行業(yè)在線服務(wù)的基礎(chǔ)上,集成公交、公共自行車、軌道交通、省際客運(yùn)、航班、鐵路、停車等多種方式。
演講結(jié)尾,張可表示未來北京市交通運(yùn)行監(jiān)測調(diào)度中心將開放共享數(shù)據(jù)資源與仿真工具環(huán)境,為交通數(shù)據(jù)專業(yè)機(jī)構(gòu)和人員提供從綜合交通數(shù)據(jù)查看、導(dǎo)出、分析、仿真和可視化展示的一體化支撐。
神州專車首席架構(gòu)師李思:神州專車時(shí)空大數(shù)據(jù)處理實(shí)踐
神州專車首席架構(gòu)師李思帶來的分享“神州專車時(shí)空大數(shù)據(jù)處理實(shí)踐 ”。神州專車是一個(gè)成立于今年年初的互聯(lián)網(wǎng)出行企業(yè),目標(biāo)是提供高端的出行體驗(yàn)。神州專車中:安全是基礎(chǔ),管理和技術(shù)雙管齊下,以嚴(yán)格的制度對(duì)司機(jī)進(jìn)行管理和通過車聯(lián)網(wǎng)監(jiān)控減少不良駕駛行為,確保行車安全;效率是關(guān)鍵,通過改進(jìn)技術(shù)提高司機(jī)效率、訂單滿足率、車輛利用率;增長是目標(biāo),對(duì)用戶行為的量化分析,實(shí)現(xiàn)精確營銷。
神州專車首席架構(gòu)師 李思
整體架構(gòu)中,通過車聯(lián)網(wǎng)/OBD收集數(shù)據(jù)并進(jìn)行實(shí)時(shí)處理;同時(shí)離線分析機(jī)器學(xué)習(xí)形成預(yù)測模型對(duì)服務(wù)前端進(jìn)行調(diào)度、定價(jià);司機(jī)/乘客前端請(qǐng)求返回到調(diào)度、財(cái)務(wù)等子系統(tǒng)內(nèi),再次進(jìn)行數(shù)據(jù)分析。后面有一套商業(yè)智能處理分析系統(tǒng),以MySQL方式數(shù)據(jù)聚集在數(shù)據(jù)庫中,最后生成業(yè)務(wù)報(bào)表。同時(shí)在前端收集了很多用戶的訪問日志,形成一個(gè)用戶事件流,方便對(duì)用戶行為進(jìn)行分析。通過駕駛行為分析與報(bào)警以確保用戶乘車安全;對(duì)司機(jī)油耗、有效里程分析等方式提高效率。空間上進(jìn)行網(wǎng)格化劃分,網(wǎng)格內(nèi)部按時(shí)間對(duì)供給和需求預(yù)測,提高調(diào)度效率;用戶數(shù)據(jù)分析平臺(tái)通過用戶歷史訂單、訪問日志、優(yōu)惠券的領(lǐng)取和使用情況、社交網(wǎng)絡(luò)的分享記錄等數(shù)據(jù)分析實(shí)現(xiàn)用戶畫像和精準(zhǔn)營銷。具體的構(gòu)建方法為:
1.將用戶操作以及由其引發(fā)的系統(tǒng)狀態(tài)變化都定義為事件;
2.把多個(gè)異構(gòu)數(shù)據(jù)源中的事件按用戶聚集;
3.把同一用戶的事件按時(shí)間發(fā)生的時(shí)間排序,成為用戶事件流;
4.按業(yè)務(wù)需求定義一批基于用戶事件流的基本函數(shù)(API);
5.使用Hive或者M(jìn)apReduce進(jìn)行數(shù)據(jù)分析。
演講最后,李思分享了神州專車在大數(shù)據(jù)處理方面的心得。對(duì)于初創(chuàng)型企業(yè),會(huì)存在有租用機(jī)房資源偏緊、大規(guī)模營銷活動(dòng)容易造成系統(tǒng)過載等問題。這時(shí)企業(yè)可與第三方企業(yè)和高校有緊密合作,同時(shí)可將非核心部件(降低系統(tǒng)部件之間的耦合度)、大規(guī)模營銷活動(dòng)、第三方合作、短時(shí)的計(jì)算密集型任務(wù)在云上部署(Iaas),達(dá)到安全性提高、可靠性提高、靈活性提高、成本可控的效果。
高德交通大數(shù)據(jù)資深專家方興:大數(shù)據(jù)如何指導(dǎo)旅游出行
高德交通大數(shù)據(jù)資深專家方興演講主題是“大數(shù)據(jù)如何指導(dǎo)旅游出行”。高德所生產(chǎn)的、所消費(fèi)的全部都是數(shù)據(jù)。通過這些數(shù)據(jù)我們能夠更好的理解出行、地理信息以及相關(guān)的服務(wù),為日后的商業(yè)提供更好的支持。
現(xiàn)場,方興展示數(shù)據(jù)分析得出的國內(nèi)交通狀況。高德地圖通過實(shí)時(shí)數(shù)據(jù)處理,實(shí)現(xiàn)實(shí)時(shí)路況與事件、實(shí)時(shí)交通與導(dǎo)航。高德是數(shù)據(jù)公司,所有的工作都是圍繞著數(shù)據(jù)完成的,最底層的也是傳統(tǒng)的信息系統(tǒng)最核心的部分就是地理信息。其技術(shù)架構(gòu)也是業(yè)務(wù)架構(gòu)包括:前臺(tái)應(yīng)用在線服務(wù),包括導(dǎo)航、定位、搜索、導(dǎo)航、實(shí)時(shí)交通等等。每一個(gè)服務(wù)單獨(dú)拿出來都是一套非常龐大的系統(tǒng)。最前端主要是分成幾大塊,第一大塊就是高德地圖應(yīng)用APP。第二塊是開放平臺(tái),為第三方的合作伙伴提供開放的數(shù)據(jù)接口,提供導(dǎo)航服務(wù)、公交服務(wù)、定位。第三塊就是最近著重做的車聯(lián)網(wǎng),車載設(shè)備,未來的汽車?yán)锩鎯?nèi)置。第四塊中國蘋果地圖的所有數(shù)據(jù)都是由高德提供的;Hbase、阿里RDS、緩存等技術(shù)實(shí)現(xiàn)在線數(shù)據(jù)存儲(chǔ);核心數(shù)據(jù)統(tǒng)一存儲(chǔ)方面,利用阿里ODPS(由5000個(gè)節(jié)點(diǎn)構(gòu)成的集群)支持SQL/MR/Spark/Storm多種方式,平臺(tái)的數(shù)據(jù)每天都會(huì)會(huì)合到ODPS上,然后可以進(jìn)行分鐘級(jí)的數(shù)據(jù)報(bào)表、數(shù)據(jù)生成、數(shù)據(jù)發(fā)布。整個(gè)地圖引擎、導(dǎo)航引擎、實(shí)時(shí)交通引擎都是通過這種方式來工作;同樣利用TT生產(chǎn)服務(wù)器實(shí)時(shí)日志采集。
高德交通大數(shù)據(jù)資深專家 方興
基于這些數(shù)據(jù),高德做了很多數(shù)據(jù)挖掘方面的工作:一是通過結(jié)合軌跡熱力圖與現(xiàn)有路網(wǎng),發(fā)布新路與過期路信息;二是通過分析通車流量變化和用戶上報(bào)事件,對(duì)封路和交通事件實(shí)時(shí)監(jiān)測;三是對(duì)歷史車速的分析,構(gòu)建道路速度模型,用來做路況預(yù)測。這些方式方法進(jìn)行關(guān)聯(lián)以后,可信度或者質(zhì)量、準(zhǔn)確度就會(huì)有很大的上升。有了這些方法,用戶在做路線規(guī)劃或者確定旅行時(shí)間就會(huì)更加精準(zhǔn)。
高德地圖通過數(shù)據(jù)挖掘可以面向交通,面向用戶的出行提供更好的服務(wù),未來的愿景就是實(shí)現(xiàn)智能交通。
攜程基礎(chǔ)大數(shù)據(jù)高級(jí)數(shù)據(jù)分析經(jīng)理于磊:攜程基礎(chǔ)大數(shù)據(jù)架構(gòu)實(shí)踐
攜程基礎(chǔ)大數(shù)據(jù)高級(jí)數(shù)據(jù)分析經(jīng)理于磊分享的是“攜程基礎(chǔ)大數(shù)據(jù)架構(gòu)實(shí)踐”。在OTA行業(yè)對(duì)于電商公司,可能它的大數(shù)據(jù)應(yīng)用相對(duì)來說還是比較簡單的。比如攜程網(wǎng)站,它有15、16個(gè)業(yè)務(wù)線,但是如果打開京東或者天貓一號(hào)店,會(huì)發(fā)現(xiàn)它的類目項(xiàng)有4000多個(gè)。
OTA公司數(shù)據(jù)具有業(yè)務(wù)線差異大、復(fù)雜度高等特點(diǎn),其大數(shù)據(jù)落地場景往往是分析報(bào)表、AB test平臺(tái)、用戶中心、個(gè)性化推薦欄位、精準(zhǔn)化運(yùn)營等方面。目前攜程中有著20個(gè)BU以及相應(yīng)的數(shù)據(jù)團(tuán)隊(duì),但同樣面臨著數(shù)據(jù)來源多、標(biāo)準(zhǔn)不一、ETL流程管理困難、全司級(jí)跨BU數(shù)據(jù)使用困難等問題。
攜程基礎(chǔ)大數(shù)據(jù)高級(jí)數(shù)據(jù)分析經(jīng)理 于磊
目前攜程大數(shù)據(jù)架構(gòu)中,大數(shù)據(jù)架構(gòu)共分為精準(zhǔn)化應(yīng)用層、通用化配置層、算法引擎層、日志層、數(shù)據(jù)源層五層。其中數(shù)據(jù)源層用于規(guī)范埋點(diǎn)注冊、生成,以及進(jìn)行環(huán)境實(shí)時(shí)校驗(yàn)(事前)、ETL數(shù)據(jù)校驗(yàn)(事中)、離線校驗(yàn)告警(事后);日志層中利用Trace MQ (Kafka等)進(jìn)行離線 & 實(shí)時(shí)數(shù)據(jù)接入,并開放了MQ、API Service、Hive 表對(duì)外接口;算法引擎層中,通過離線用戶畫像、相似相關(guān)商品、規(guī)則挖掘、主題挖掘(HBase、Redis)方式和實(shí)時(shí):用戶意圖(HBase、Redis)分析,以及Hive、ES等方式,實(shí)現(xiàn)范驗(yàn)證畫像審核、ETL 中Schema識(shí)別、測試環(huán)境血緣審核;通用化配置層以選人魔方(廣告、 SMS、APP推送、EDM)、個(gè)性化推薦平臺(tái)、選品平臺(tái)等通用化精準(zhǔn)營銷平臺(tái)(開發(fā)中),實(shí)現(xiàn)數(shù)據(jù)出口;精準(zhǔn)化應(yīng)用層用于推薦欄位和個(gè)性化廣告投放。
目前攜程實(shí)現(xiàn)了數(shù)據(jù)支點(diǎn)的元數(shù)據(jù)管理、數(shù)據(jù)規(guī)范、統(tǒng)一維表、統(tǒng)一數(shù)據(jù)接口、標(biāo)準(zhǔn)化指標(biāo)、安全管理數(shù)據(jù)治理流程。 元數(shù)據(jù)標(biāo)準(zhǔn)流程:目前攜程做了一些自動(dòng)化的流程方面的管理。在各個(gè)團(tuán)隊(duì)創(chuàng)建數(shù)據(jù)表時(shí),統(tǒng)一采集數(shù)據(jù)的Schema,跟定期存儲(chǔ)的數(shù)據(jù)進(jìn)行比較;統(tǒng)一監(jiān)控ETL之間、流程與流程、交付與交付之間的關(guān)系。當(dāng)一個(gè)數(shù)據(jù)源或者流程的schema有可能影響到其他的ETL或者其他團(tuán)隊(duì)的工作,能被監(jiān)控出來;通過血緣分析,通知下游。
在QA環(huán)節(jié),于磊對(duì)與會(huì)嘉賓提出的埋點(diǎn)技術(shù)和用戶推薦時(shí)考慮的維度進(jìn)行了詳細(xì)的解答。
途牛大數(shù)據(jù)總監(jiān)孟敬慈:途牛旅游大數(shù)據(jù)應(yīng)用實(shí)踐
途牛大數(shù)據(jù)總監(jiān)孟敬慈進(jìn)行了題為“途牛旅游大數(shù)據(jù)應(yīng)用實(shí)踐”的演講。他的演講分為途牛業(yè)務(wù)模式、旅游行業(yè)特性 、數(shù)據(jù)解決方案三部分展開。目前途牛業(yè)務(wù)模式分為旅游電商、金融科技、影視傳媒三塊。目前作為重心來說最主要還是途牛旅游這一塊。途牛最早是從跟團(tuán)自助做起,跟攜程的模式不一樣,現(xiàn)在也有機(jī)票、酒店、門票、簽證、wifi,但是傳統(tǒng)上來說最主要是跟團(tuán)和自助。
途牛大數(shù)據(jù)總監(jiān) 孟敬慈
旅游行業(yè)具有非標(biāo)準(zhǔn)化、低頻次、強(qiáng)時(shí)效性+高客單價(jià)特點(diǎn)。旅游是非標(biāo)準(zhǔn)性產(chǎn)品,由此可產(chǎn)生非標(biāo)準(zhǔn)化衍生需求:資源如何組合?途牛在這方面采用的是產(chǎn)品 到相似產(chǎn)品推廣和資源到關(guān)聯(lián)資源自動(dòng)打包、交叉銷售的方式。他談到,途牛并非完全低頻,至少在APP時(shí)代,應(yīng)是處于高低頻之間。途牛有一個(gè)目的地資源,基于LBS的推薦系統(tǒng),可向用戶推薦旅游周圍的演出或者吃喝玩樂實(shí)現(xiàn)travel goes mobile。在供應(yīng)商短已經(jīng)做到較高頻次,途牛供應(yīng)商平臺(tái)N-Booking現(xiàn)已有注冊用戶數(shù)幾萬、SKU通過NB錄入占比85%以上、SKU數(shù)達(dá)幾百萬、訂單NB確認(rèn)率95%以上。
接下來, 孟敬慈談到了供應(yīng)商金控模式,采用旅游業(yè)平臺(tái)+投資機(jī)構(gòu)和旅游業(yè)供應(yīng)商利用平臺(tái)數(shù)據(jù)共同投資模式。旅游產(chǎn)品時(shí)效性等特性衍生出風(fēng)險(xiǎn)管理與價(jià)格管理需求,產(chǎn)生了對(duì)應(yīng)的風(fēng)險(xiǎn)管理、價(jià)格管理的定量解決方案、新的產(chǎn)品與模式。他主要介紹了最優(yōu)庫存與定價(jià)策略和收益管理策略。售前:確定銷售期之前需采購的初級(jí)庫存最優(yōu)量,作為與供應(yīng)商談判的目標(biāo),同時(shí)制定與最終獲取庫存量相應(yīng)的價(jià)格策略;售中:銷售期進(jìn)入到一定階段后,若銷量顯著高于售前預(yù)期,計(jì)算需要補(bǔ)進(jìn)的次級(jí)庫存最優(yōu)量,以及相應(yīng)定價(jià)策略,若銷量顯著低于預(yù)期,調(diào)整價(jià)格策略并進(jìn)行相應(yīng)措施。在收益管理中,將市場細(xì)分為商務(wù)旅客和休閑旅客,制定不同的定價(jià)策略,差異化推送產(chǎn)品,具體地實(shí)施方案為Demand Forecast和Inventory Allocation兩種。演講最后他總結(jié)到旅游產(chǎn)品與金融需要緊密結(jié)合,才能做到最好的收益管理。
途家BI總監(jiān)秦涌:途家網(wǎng)數(shù)據(jù)分析的商業(yè)實(shí)踐
途家BI總監(jiān)秦涌分享的題目“途家網(wǎng)數(shù)據(jù)分析的商業(yè)實(shí)踐”。他簡單介紹到途家是全球公寓民宿預(yù)訂平臺(tái),在國內(nèi)覆蓋265個(gè)城市,海外1038個(gè)城市。他本次分享的重點(diǎn)在于:數(shù)據(jù)的價(jià)值在于技術(shù)和商業(yè)的結(jié)合;數(shù)據(jù)在技術(shù)方面縱深發(fā)展,在商業(yè)實(shí)踐方面百花齊放。秦涌本次演講通過分享4個(gè)途家網(wǎng)在商業(yè)實(shí)踐方面的案例,與大家探討:“數(shù)據(jù)如何在商業(yè)層面達(dá)到和業(yè)務(wù)的互動(dòng)”。
途家BI總監(jiān) 秦涌
和傳統(tǒng)的OTA相比,途家業(yè)務(wù)具有3+人以上的家庭出游的度假需求占比較多;30種產(chǎn)品類型可供選擇:公寓、復(fù)式、別墅、游艇等;20%的用戶決策周期(從開始瀏覽到購買)超過1天三個(gè)特征。因此需要解決度假需求往往沒有明確的目的地或比較模糊,需要幫助用戶解決“去哪里”的問題;產(chǎn)品類型多,需要幫助用戶確定“住什么房子”:用戶決策慢,需要幫用戶加速?zèng)Q策,回答“這些房子怎么樣”三個(gè)問題。
通過對(duì)“去哪兒”案例一中的數(shù)據(jù)分析,途家得出以下三個(gè)特點(diǎn):
1.不管任何時(shí)候,同城預(yù)訂訂單占比很大;
2.大部分時(shí)候,周邊游僅次于同城預(yù)訂;
3.城市之間的往來度假是有規(guī)律的:進(jìn)入冬天,東北和西南去三亞的人增幅最大。
因此,途家對(duì)應(yīng)的開展了三個(gè)業(yè)務(wù)應(yīng)用:
1.在途家PC首頁根據(jù)用戶所在地,做了目的地智能推薦;
2.智能推薦里面明確了本城市房屋推薦、城市周邊推薦,其他城市推薦;
3.加強(qiáng)了線下門店的同城品牌推廣。
案例二中,通過收集用戶歷史的數(shù)據(jù)發(fā)現(xiàn)規(guī)律。根據(jù)總結(jié)出來的規(guī)律,賦予每個(gè)房屋適合的出行目的,便于用戶選擇。案例三中,加強(qiáng)用戶信息需要一些感性的評(píng)價(jià):閱讀評(píng)論,但有兩個(gè)問題:評(píng)論文字多,且一般在靠后的流程(詳情頁)。通過文本挖掘,概括了每個(gè)房屋的印象,并提前到了列表頁展示。
這些案例緊緊圍繞途家業(yè)務(wù),設(shè)計(jì)計(jì)算方法,輸出分析結(jié)果、并落地驅(qū)動(dòng)業(yè)務(wù)作出改善,秦涌給出3個(gè)啟示:一是數(shù)據(jù)分析的出發(fā)點(diǎn)一定和具體業(yè)務(wù)相關(guān),如測量業(yè)務(wù)與預(yù)測業(yè)務(wù);
二是數(shù)據(jù)分析沒有固定的方法,測量業(yè)務(wù)往往是在深度理解業(yè)務(wù)的基礎(chǔ)上的簡單運(yùn)算,數(shù)學(xué)模型常使用在業(yè)務(wù)預(yù)測上;三是數(shù)據(jù)分析人員在業(yè)務(wù)單元的輪崗是提升數(shù)據(jù)分析結(jié)果的價(jià)值、加強(qiáng)數(shù)據(jù)和業(yè)務(wù)互動(dòng)的有效辦法。
【號(hào)外!】執(zhí)惠私享會(huì)第二站將于12月19日(周六)下午在深圳舉辦,此次活動(dòng)邀請(qǐng)到了多家深圳旅游O2O代表企業(yè)的創(chuàng)始人、高管,一起探討“2016年如何在‘互聯(lián)網(wǎng)+旅游’里煉金”的話題。
除了干貨分享外,執(zhí)惠旅游還將在現(xiàn)場抽出幸運(yùn)觀眾送出由安科運(yùn)達(dá)提供的塞舌爾、巴厘島往返機(jī)票!趕快約起來吧!報(bào)名請(qǐng)戳?“我要報(bào)名”!
找回密碼
注冊賬號(hào)