新用戶登錄后自動創(chuàng)建賬號
登錄近期, 途牛旅游網(wǎng)與SequoiaDB巨杉數(shù)據(jù)庫在大數(shù)據(jù)應用方面展開了深度的技術(shù)合作,并且取得了顯著的成效。為此,我們也專門采訪了途牛旅游網(wǎng)研發(fā)總監(jiān)李曉煒先生, 讓他談一談在線旅游行業(yè)的大數(shù)據(jù)應用及SequoiaDB的實踐情況。
CSDN:介紹下您自己,也介紹一下途牛?能否也談談目前在線旅游行業(yè)的主要情況?
李曉煒:你好,我是途牛旅游網(wǎng)的李曉煒,負責途牛后臺系統(tǒng)的開發(fā)工作。
途牛想必大家都聽過,途牛旅游網(wǎng)是目前國內(nèi)最大的在線旅游平臺之一,提供全國75個城市的旅游度假預訂服務,包括跟團、自助、自駕、酒店、景區(qū)門票、郵輪以及公司旅游預訂等。
目前,在線旅游平臺發(fā)展也漸漸成熟,之前有看過一份旅游行業(yè)的統(tǒng)計報告,2014年中國的在線旅游市場交易規(guī)模達到了3077.9億元,同比增長了38.9%,預計2015全年,這一規(guī)模將達到3500~4000億元,增長規(guī)模保持在30%以上。而截至2014年12月,國內(nèi)在線旅游的用戶已經(jīng)達到了近1.5億人,用戶的年增長接近195%。
CSDN:在線旅游的發(fā)展方向是什么呢?
李曉煒:我認為目前在線旅游正在從向定制化、多樣化、個性化和智能化的方向在發(fā)展。
從前可能大家都滿足于通過線上訂票、訂酒店,現(xiàn)在用戶更希望平臺能代替他們做更多的事情,也就是我只要有旅游的想法,最好就能直接的幫我全程安排好,只需要付錢就行了。
而同時,用戶也希望有更多的旅游項目的選擇,滿足個性化的需求。比如從前到一個地方,只安排幾個固定的餐廳給游客們?nèi)?,現(xiàn)在用戶可能會想要找更地道或者是一些有特色的小店來品嘗,這就要求我們能有更多的餐廳供他們選擇,餐飲是目的地服務的一種,途牛也從今年開始在目的地服務方向發(fā)力,希望能徹底改變過去那種上車睡覺,下車拍照的旅游方式,希望大家都能全方位的深度感受當?shù)氐母鞣N特色。
CSDN:作為一個資深的架構(gòu)師、工程師,能否談談在線旅游這一塊目前對于大數(shù)據(jù)的需求主要有什么呢?
李曉煒:剛剛也提到了未來在線旅游的一個大概發(fā)展情況,針對這些個性化、智慧化的需求,需要從用戶的瀏覽,訂購等行為中進行分析,行程主動的推薦,如何從互聯(lián)網(wǎng)的海量數(shù)據(jù)中提煉出這些需求就需要大數(shù)據(jù)技術(shù)來支撐了。對于多樣化的選擇,更多的項目選擇需要更大的存儲,同時也需要能快速的存取、查詢所需要的數(shù)據(jù)。對于智慧化方面,一個完整的旅游方案提供平臺,需要快速的分析和數(shù)據(jù)處理。用戶提出了需求,系統(tǒng)就會快速的分析,在龐大的數(shù)據(jù)量中分析出最適合用戶需求的方案。
簡單說,就是大數(shù)據(jù)的存儲和大數(shù)據(jù)的分析。
CSDN:在線旅游的大數(shù)據(jù)現(xiàn)狀是什么呢?主要的應用有哪些?
李曉煒:在旅游有幾大特點,交易量大,會員量大,產(chǎn)品量大,訂單量大等,不管是哪種數(shù)據(jù)類型都稱的上是海量?;ヂ?lián)網(wǎng)擁有長尾的特點,覆蓋的客戶群廣,靠傳統(tǒng)的數(shù)據(jù)庫幾乎無法分析動輒以TB計的數(shù)據(jù)。舉個例子,我們需要從用戶行為中分析用戶的興趣和消費趨向來反向決定我們推出什么樣的產(chǎn)品,這個看似簡單實則非常的復雜,我們需要對于不同的用戶,根據(jù)他的年齡,性別,瀏覽歷史,下單歷史,所在地區(qū)等很多個維度去進行分析,進而指導我們在不同地區(qū)針對不同類型的人群主推不同的產(chǎn)品;另一個例子,一個用戶有了出游意向,比如預算,意向目的地等信息之后,系統(tǒng)需要能智能的去給他推薦相應的產(chǎn)品套餐,簡化客人的選擇過程,幫他打包好所有的服務,這些也需要我們能在很短的時間內(nèi)通過多維度的數(shù)據(jù)整合來給出建議,既要精確又要快,這就離不開對于大數(shù)據(jù)技術(shù)的運用了。當然除此之外還有很多的場景,在此就不一一給出了
CSDN:此次SequoiaDB巨杉數(shù)據(jù)庫與途牛的合作,主要是在哪些方面?
李曉煒:“價格中心”,是途牛旅游業(yè)務的核心模塊之一,負責記錄所有的服務、商品等等的價格,并在用戶需要時對其進行計算和組合。我們的系統(tǒng)每天計算的團期數(shù)量達百億次之多,每次計算都會對數(shù)據(jù)庫發(fā)生多次查詢,且會跨多個庫進行查詢,而這些壓力往往是在很短的時間內(nèi)集中爆發(fā),如我們的供應商進行大批量調(diào)價時,價格是對用戶最敏感的信息,需要我們的系統(tǒng)能夠在極大規(guī)模數(shù)據(jù)量和并發(fā)的情況下能夠以極快的速度給出響應,了解大規(guī)模網(wǎng)站的都知道,基于RESTFUL的設(shè)計計算能力可以很容易的實現(xiàn)水平擴展,而數(shù)據(jù)存取的高可用卻是皇冠上的明珠,想使用傳統(tǒng)的關(guān)系性數(shù)據(jù)庫實現(xiàn)上面的場景,維護和開發(fā)的成本非常高昂,有些時候甚至根本無法實現(xiàn)??紤]到我們的應用場景基本是以讀為主,所以非常適合去使用巨杉的NoSQL數(shù)據(jù)庫去提升性能。
另外,“資源系統(tǒng)”則是途牛的另一個核心業(yè)務模塊。其負責存儲和記錄所有的旅游方案相關(guān)的資源信息,包括酒店,機票,門票,火車票,汽車票,地接,當?shù)胤盏?,和價格中心相同,我們的資源也呈海量存儲的特點,同樣在對于靜態(tài)資源的讀取上,通過和巨杉的合作也大幅提升了系統(tǒng)的響應能力。
CSDN:能否大概介紹一下“價格中心”“資源中心”中巨杉數(shù)據(jù)庫的應用情況?
李曉煒:途牛價格中心從架構(gòu)上來分大致分為計算和存取兩層,前面用應用服務器大量架設(shè)實例進行集群運算,中間使用MQ的方式接受來自資源,產(chǎn)品等系統(tǒng)的價格變動,庫存變動,上下架等實時消息來觸發(fā)計算,底層采用SequoiaDB巨杉數(shù)據(jù)庫存儲諸如成本價,采購方式,報價方式,庫存等信息,在一次計算當中需要進行多次的高速查詢。
CSDN:通過使用巨杉數(shù)據(jù)庫,業(yè)務上有了多大的提升呢?
李曉煒:我們?nèi)ツ晖诘囊惶斓挠嬎懔看蟾攀且粋€億,今年在沒有增加太多硬件資源的情況下達到了一百億團期/天的計算量,在這個過程中SequoiaDB巨杉數(shù)據(jù)庫在讀取效率方面的巨大優(yōu)勢給了我們很強的支撐,使得總體的效率提高了近一倍。
CSDN:為什么選擇SequoiaDB巨杉數(shù)據(jù)庫
李曉煒:我們的團隊在對比選型的過程中,看到了CSDN上發(fā)表的《bankmark NoSQL性能對比測試》一文,其中看到SequoiaDB巨杉數(shù)據(jù)庫的性能與國際領(lǐng)先的NoSQL產(chǎn)品不分伯仲,部分性能甚至超越硅谷同類產(chǎn)品。驚訝于國內(nèi)也出現(xiàn)了這樣一款優(yōu)秀的基礎(chǔ)軟件之余,巨杉數(shù)據(jù)庫也進入了我們的考察視野。
對于途牛的實際應用場景,選擇SequoiaDB巨杉數(shù)據(jù)庫主要有4個方面。
水平擴展性:新型分布式數(shù)據(jù)庫的擴展性幫助在線旅游平臺的數(shù)據(jù)容量能夠輕松的擴展,不僅擴展非常輕松,成本也比傳統(tǒng)的存儲方案便宜許多。這樣就能更好更省的應對未來繼續(xù)擴大的用戶量。
靈活數(shù)據(jù)模型:靈活的數(shù)據(jù)模型,幫助存儲復雜多樣化的數(shù)據(jù)。文檔型的模型,可以存儲任何類型的數(shù)據(jù)無需重新設(shè)計數(shù)據(jù)模式,調(diào)用時也無需做更多的處理。對于處理多種復雜的數(shù)據(jù)類型十分有效。
更高的數(shù)據(jù)處理性能:相比于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,NoSQL的性能更為優(yōu)秀,對大數(shù)據(jù)量的應用場景更適合。
國產(chǎn)化:國內(nèi)完全自主研發(fā)的數(shù)據(jù)庫產(chǎn)品,不僅使用更適合國內(nèi)開發(fā)者,很多的設(shè)計上也更考慮了國人的使用習慣。
后來,在與巨杉數(shù)據(jù)庫的技術(shù)團隊有了深入的溝通后,我們的研發(fā)團隊確實對巨杉數(shù)據(jù)庫有了更深的認識,也給了我們更多選擇巨杉的信心。
CSDN:對于在線旅游和大數(shù)據(jù)的結(jié)合的一些看法和建議
李曉煒:在不遠的將來,線上旅游會徹底顛覆傳統(tǒng)的線下旅游,隨著計算能力和存儲能力的飛速提升,我們將有能力實時的從全世界的景點信息中幫助用戶篩選出最最合理的出行方案。當你輸入目的地和預算時就會自動的根據(jù)目的地的熱度,不同等級資源的價格等因素綜合計算出最適合你的方案,甚至可以自動的幫游客規(guī)劃好路線,實現(xiàn)自動的錯峰出行。系統(tǒng)會越來越了解你,甚至可以自動推薦你最喜歡的酒店,航空公司,你最喜愛的餐館以及你最喜愛的休閑活動,你要做的就是下載一個APP就像是有了一個如影隨形的私人導游和管家。