97成人免费视频,97视频免费公开成人福利,免费视频99,99婷婷,国产伊人久久,亚洲视频欧美,国产精品福利久久

首頁(yè) > 專(zhuān)題 > 文思海輝-乘數據之舟-達價(jià)值彼岸 > 數據平臺之道—大數據時(shí)代的數據倉庫的規劃、建設(北京站)

數據平臺之道—大數據時(shí)代的數據倉庫的規劃、建設(北京站)
2014-12-08 15:25:15   評論:0 點(diǎn)擊:

  在文思海輝金融商業(yè)智能解決方案研討會(huì )上文思海輝副總裁賈丕星表示,文思海輝的商業(yè)智能團隊已經(jīng)發(fā)展到452人的規模,并且隨著(zhù)國內銀行商業(yè)智能領(lǐng)域發(fā)展,還在逐步完善解決方案和擴大團隊。

  賈丕星指出,現階段銀行商業(yè)體系是基石,把數據做有效的存儲,以及好的管理,未來(lái)商業(yè)智能領(lǐng)域會(huì )發(fā)展的很好,未來(lái)三五年之內這仍然是文思海輝解決方案的核心。

  文思海輝副總裁 賈丕星

  “小數據和大數據在銀行業(yè)里更多是互為補充而不是替代。小數據比較簡(jiǎn)單,有比較成熟的技術(shù)應對。大數據更多的是理念優(yōu)先,其一個(gè)典型特征是價(jià)值密度較低,這也是大數據帶來(lái)的思考。”

  賈丕星認為,銀行思考大數據更多的需要考慮你具備什么條件讓客戶(hù)產(chǎn)生的大數據自動(dòng)的流向銀行。文思海輝在大數據領(lǐng)域仍然保持和合作伙伴廠(chǎng)商緊密接觸。像IBM、BMC、Oracle每一家對大數據的理解其實(shí)是有差異的,而且差異非常大。

  賈丕星指出了大數據時(shí)代針對傳統數據倉庫的思考,其中包括不要因為大數據擾亂我們的原則、規劃、節奏;技術(shù)和平臺已經(jīng)不是我們關(guān)注的重點(diǎn);原則和架構在“以不變應萬(wàn)變”中顯得尤為重要;正確的方法論、管控的水平?jīng)Q定了質(zhì)量;引導客戶(hù)主動(dòng)的“分析探索”是永恒的話(huà)題。

  以下為演講實(shí)錄:

  大家知道文思和海輝是去年年底合并的,從集團研發(fā)對我們支持角度來(lái)說(shuō):第一點(diǎn)祥麟給了我們一個(gè)很好的技術(shù)規劃體系。第二個(gè)是智慧金融這個(gè)概念,把所有金融事業(yè)群解決方案有效整合在一起。形成應對未來(lái)銀行業(yè)務(wù)發(fā)展很好的體系。從這兩個(gè)角度來(lái)說(shuō),給了整個(gè)商業(yè)智能部這邊很大的支持。

  今天我講的是數據倉庫的概念。我們這個(gè)團隊跟大家認識都是從數據倉庫這個(gè)角度跟大家相識的。我們這個(gè)團隊一直被認為是業(yè)內做商業(yè)智能做的比較久,相對來(lái)說(shuō)比較專(zhuān)業(yè)的團隊。每年我基本都講第一場(chǎng),對我來(lái)說(shuō)也是一個(gè)很大的挑戰。每年都想講一點(diǎn)我這一年多的新的體會(huì )和感受跟大家分享。今天講什么呢?前段時(shí)間我在外面講的更多的是從小數據角度看大數據,大數據現在提的越來(lái)越多,小數據從另外一個(gè)角度理解它,它種類(lèi)比較單一但是業(yè)務(wù)種類(lèi)并不單一;第二它量比較小,大數據量可以很大。

  大數據的年代里,真正的數據倉庫應該如何規劃建設?我們今年也有自己更多的思考和體會(huì )。講這個(gè)之前,我還是把團隊的情況給大家做一個(gè)簡(jiǎn)單回顧。在各位新老客戶(hù)支持下,我們商業(yè)智能團隊從去年300多人,現在已經(jīng)發(fā)展到452人的規模。我們跟隨著(zhù)國內銀行商業(yè)智能領(lǐng)域發(fā)展,在逐步完善我們的解決方案和擴大我們的團隊。我們團隊主要分布在華東、華北、華南三個(gè)區域。跟隨著(zhù)客戶(hù)在成長(cháng),我們有越來(lái)越多的新的解決方案和原有解決方案的優(yōu)化在不斷的推出。

  我們傳統的優(yōu)勢就是數據倉庫和數據管控,這兩個(gè)方面會(huì )放在今天上午跟大家分享。現階段銀行商業(yè)智能體系的基石,還是把數據做有效的存儲和更好的管理,這個(gè)領(lǐng)域未來(lái)三五年之內這仍然是我們解決方案的核心。

  團隊為什么會(huì )有所成長(cháng)?跟我們自己承接了更多的項目有關(guān)。在過(guò)去兩年,所有業(yè)內資產(chǎn)排名前20位銀行里,新啟動(dòng)五個(gè)數據倉庫都是由我們團隊承接的。正是有這樣好的項目機會(huì )讓你的團隊有成長(cháng),解決方案不斷的優(yōu)化。

  我今天既看到了特別支持我們的長(cháng)期的老客戶(hù),也看到我們未來(lái)有合作機會(huì )的新客戶(hù)。這是我們近期拿下來(lái)的國內一個(gè)大型股份制銀行的數據架構規劃和數據倉庫規劃咨詢(xún)項目。這個(gè)項目有很大的挑戰,客戶(hù)需要對他們管理信息類(lèi)的系統進(jìn)行全面的梳理,我們也對過(guò)去5年我們的積累進(jìn)行總結,這是很好的結合。數據倉庫只靠一個(gè)EDW發(fā)揮不了太多的作用,更多的是規劃的角度,圍繞從數據的產(chǎn)生、交換、存儲、使用,由數據轉成業(yè)務(wù)價(jià)值的全過(guò)程。這個(gè)是我們更愿意看到的東西。我們不希望大家理解的BI僅僅是一個(gè)平臺,存儲了企業(yè)里面有效、無(wú)效所有的信息,這個(gè)沒(méi)意思。有意思是的通過(guò)價(jià)值體系的打造讓它更好的發(fā)揮價(jià)值。

  說(shuō)到這點(diǎn),結合今天題目去談,就是小數據和大數據的概念。我從不覺(jué)得大數據是新的有震撼力的東西,但是它確實(shí)給我們帶來(lái)了轉變。我個(gè)人理解它們兩個(gè)沒(méi)有什么所謂替代形成,特別是銀行業(yè)里面,更多的是互為補充。

  從另外一個(gè)角度來(lái)講,小數據比較簡(jiǎn)單,有比較成熟的技術(shù)應對它。大數據是多種類(lèi)型數據的組成,需要使用多種技術(shù)對待它。比如說(shuō)圖像、視頻、文檔。每一個(gè)識別和監測它的手段和方法是不一樣的。另外大數據更多的是理念優(yōu)先,它在銀行里到底能發(fā)揮什么價(jià)值?另外大數據我們會(huì )說(shuō)它一個(gè)比較典型的特征,它的價(jià)值密度很低。那么反回來(lái)思考,把大量數據存下來(lái)再去做統計分析有意義和價(jià)值嗎?還是通過(guò)實(shí)時(shí)處理的技術(shù)把沒(méi)價(jià)值的東西篩掉,再利用有價(jià)值的做結構化的關(guān)聯(lián)分析?這就是大數據給我們帶來(lái)的思考。

  銀行思考大數據,更多的需要考慮你具備什么條件讓客戶(hù)產(chǎn)生的大數據自動(dòng)的流向銀行?銀行獲取大數據方式可能跟傳統的物聯(lián)網(wǎng)行業(yè)不太一樣。銀行對待大數據的時(shí)候更多的考慮是銀行有什么類(lèi)型的大數據?從銀行統計應用角度來(lái)說(shuō)有什么價(jià)值?我們是實(shí)施商,我們在大數據領(lǐng)域仍然保持跟我們的合作伙伴廠(chǎng)商的緊密接觸。我們從去年和前年就開(kāi)始跟我們合作緊密的像IBM、BMC、Oracle的大數據廠(chǎng)商進(jìn)行緊密的溝通和跟進(jìn)。我們看怎么更他們更好的結合去為銀行提供更好的服務(wù)。但是我們發(fā)現每家廠(chǎng)商對大數據的解讀其實(shí)是有差異的。 比如說(shuō)EMC的HAWQ技術(shù)路線(xiàn)適合銀行嗎?因為我們知道HDFS底層數據存儲和關(guān)系數據的底層數據有本質(zhì)的區別。但是它有它的應用場(chǎng)景,比如互聯(lián)網(wǎng)和電商類(lèi)。Teradata的大數據技術(shù)路線(xiàn)中重點(diǎn)突出基于MR的Aster,它可能也只是適合一定的場(chǎng)景。所以讓我們看到一個(gè)特點(diǎn)是百花齊放,大家各有各的發(fā)展思路。在原有的基礎上在怎么更好的綁定客戶(hù),每家策略不一樣。 但是銀行一定要選擇適合自己的。

  銀行大數據在典型應用場(chǎng)景分析有哪些呢,無(wú)非就是三種類(lèi)型:外部互聯(lián)網(wǎng)信息、輿情分析;是銀行確實(shí)能夠通過(guò)各種手段找到外部的一些信息,互聯(lián)網(wǎng)的評價(jià)、社交媒體和論壇里面的發(fā)言,它關(guān)注到銀行或者關(guān)注到了銀行客戶(hù)。這種信息是一種非嚴謹的獲取方式,也是一種特別嚴謹的決策分析的補充。

  銀行自身非結構化數據信息:就是銀行自身有大量非結構化信息體現在網(wǎng)銀和呼叫中心的語(yǔ)音,這些信息是不是大規模的做分析?我建議的方式是嘗試。因為傳統結構化數據或者分析技術(shù)并沒(méi)有讓你在業(yè)務(wù)決策分析里面發(fā)揮到極至。我們一定要做更多的嘗試,引導我們去體驗大數據的場(chǎng)景。銀行自身結構化數據歷史歸檔和查詢(xún)訪(fǎng)問(wèn)。這三個(gè)方面是我們跟銀行探討更多的,大數據在銀行的應用場(chǎng)景。

  大數據時(shí)代針對傳統數據倉庫的思考:首先不要因為大數據這個(gè)詞擾亂了我們的的原則、規劃和節奏。我們要一步步腳踏實(shí)地的跟進(jìn)大數據的技術(shù)。

  其次傳統的數據倉庫我昨天思考完寫(xiě)了四句話(huà):

  第一,技術(shù)和平臺已經(jīng)不是我們關(guān)注的重點(diǎn)。很多新客戶(hù)型的時(shí)候他會(huì )猶豫,其實(shí)你有你的判斷,你作為商務(wù)上你有你的所謂投資回報成本的考慮。但是技術(shù)上在傳統結構化分析里面,它的差異性不是很大。那么做選型的時(shí)候是否能夠處理傳統的結構化數據?我相信還是一個(gè)重點(diǎn),但是更大的重點(diǎn)應該放在如何更好的支撐應用和如何跟未來(lái)技術(shù)走向很好的結合。

  第二:變化莫測的世界里做好架構管理才能以不變應萬(wàn)變的決策。所以我們更強調合理的原則和架構。這些年廠(chǎng)商提出來(lái)做數據倉庫用10大原則、20大原則,原則越多越?jīng)]用,原則少有效才能解決真正的問(wèn)題。

  第三,過(guò)去十年前做數倉,用一期項目整合300張表,現在可以整合1000張表,就是因為正確的方法論。一個(gè)好的方法論出來(lái),關(guān)于開(kāi)發(fā)管控和數據管控水平不斷的提升,才能保證一家銀行商業(yè)智能體系的發(fā)展。

  第四個(gè)是引導客戶(hù)主動(dòng)分析和探索,只有通過(guò)這個(gè)才能改變傳統業(yè)務(wù)人員分析思路和方法。

  這四點(diǎn)是我們在新的數據平臺里面,大數據時(shí)代新的數據倉庫架構里面需要考慮的四個(gè)重點(diǎn)。

  架構設計原則:做數據倉庫架構設計過(guò)程中,我們更審慎的對待自身的原則,這六句話(huà)有它背后的道理,第一個(gè)是操作型和分析型處理分離原則。第二個(gè)就是做到數據集體程度、整合和共享原則。第三句話(huà),盡量減少大量明晰數據搬遷和處理。第四個(gè)后臺批量處理和前端聯(lián)機訪(fǎng)問(wèn)分離原則。第五個(gè)是明晰數據使用審慎使用。這個(gè)原則很重要。我們在銀行經(jīng)常遇到很多問(wèn)題,當業(yè)務(wù)部門(mén)提到一個(gè)需求說(shuō)我要查明細,我們要審慎的對待,合理評估投入產(chǎn)出。最后一個(gè)就是做好統一技術(shù)平臺。

  關(guān)于數據倉庫里面的四層架構:貼源的、主題整合、通用匯總、數據集市。哪個(gè)區域用什么策略我自己做十年了也沒(méi)有任何調整。這就是好的架構。

  自主開(kāi)發(fā)體系:把數據倉庫實(shí)施方法論能夠很好的跟開(kāi)發(fā)工具做結合。這種開(kāi)發(fā)工具的結合,過(guò)去兩年,我們實(shí)施十幾個(gè)數據倉庫平臺里面發(fā)揮了很大的價(jià)值。客戶(hù)對我們的評價(jià):第一開(kāi)發(fā)的東西可維護,第二質(zhì)量相對較高,開(kāi)發(fā)效率高。

  另外永遠不要把數據倉庫建設和數據管控分開(kāi)來(lái)談。數據倉庫依賴(lài)于數據管控,提升數據質(zhì)量才能更好的服務(wù)于應用。這兩個(gè)是不分割的,甚至它的業(yè)務(wù)牽頭部門(mén)、主管部門(mén)都是一個(gè)。

  引導業(yè)務(wù)人員上來(lái)主動(dòng)訪(fǎng)問(wèn),這種探索式的推動(dòng)永遠是你不要放棄的一個(gè)話(huà)題。它同前期推動(dòng)來(lái)說(shuō)很難,但是它后期給你銀行整個(gè)分析水平的提升帶來(lái)的價(jià)值非常大。

  我們做數據倉庫的,做數據管控的,我們不斷給銀行推要做隨機查詢(xún)。我們不斷的強化這三個(gè)東西的重要性,但是這三個(gè)東西都是前期投入大,后期才能逐步慢慢見(jiàn)效發(fā)揮很大價(jià)值的地方。國內的工行,之所以它的數倉成為業(yè)界領(lǐng)先典范,就是因為它堅持走這三條路。

  在座的新老客戶(hù),最后再跟大家說(shuō)一下“我們做的工作都是前期投入產(chǎn)出比較不合適的,但是希望大家重視,希望大家從規劃的角度解決好這三個(gè)概念的融合”。

錯誤報告  分享到:
虹口区| 东乡| 濉溪县| 瓦房店市| 丽水市| 北票市| 威宁| 白朗县| 白城市| 安图县| 南和县| 镇赉县| 云浮市| 五原县| 颍上县| 台中县| 盐津县| 阳东县| 延庆县| 望城县| 济南市| 怀宁县| 米林县| 祁连县| 晋州市| 津市市| 阿坝县| 搜索| 时尚| 西乌| 龙泉市| 南阳市| 长阳| 江华| 元江| 肥西县| 筠连县| 务川| 定州市| 新巴尔虎右旗| 湛江市|