基于Hadoop的開(kāi)源軟件公司Cloudera與Hortonworks于2018年10月宣布合并，并在2019年推出了結合了Cloudera原有產(chǎn)品CDH和Hortonworks原有產(chǎn)品HDP的全新的大數據平臺產(chǎn)品CDP。

　　合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授權許可方式，對許可方式進(jìn)行調整：Cloudera所有產(chǎn)品都將采用OSI批準的許可證，即Apache軟件許可證(ASL)或Affero通用公共許可證(AGPL)。用戶(hù)不得不面臨許可變更帶來(lái)的風(fēng)險。

　　另一方面，Cloudera對原有產(chǎn)品的服務(wù)支持也做出調整。Cloudera會(huì )在2022年前繼續支持CDH和HDP兩條產(chǎn)品線(xiàn)，給用戶(hù)一個(gè)過(guò)渡期。原有的CDH和HDP用戶(hù)均可通過(guò)升級至CDP獲得諸多新功能。也就是說(shuō)，在2022年全部用戶(hù)都將遷移到CDP上來(lái)。但CDP以訂閱方式提供服務(wù)，用戶(hù)付費成本大幅增加。

　　同時(shí)開(kāi)源軟件的安全事故迭出，影響巨大。同時(shí)，開(kāi)源軟件安全方面功能的缺失或者被限制，也成為用戶(hù)應用的后顧之慮。

　　如何面對許可方式的變更，產(chǎn)品服務(wù)方式改變所帶來(lái)的成本增加，以及不斷增加的安全威脅，已經(jīng)成為CDP和CDH的用戶(hù)不得不面對的問(wèn)題。

　　春秋航空公司，是國內第一家由民營(yíng)資本獨立經(jīng)營(yíng)的低成本航空公司，也是國內第一家由旅行社起家的低成本航空公司。成立37年來(lái)，春秋航空公司快速發(fā)展，從正式開(kāi)航到現在，機隊規模已經(jīng)達到96架、國際國內航線(xiàn)達到210條，是國內低成本航空公司的典范。

　　春秋航空用星環(huán)科技大數據基礎平臺TDH成功替換開(kāi)源大數據平臺CDH，打破了新技術(shù)與業(yè)務(wù)場(chǎng)景之間的隔閡，用技術(shù)為業(yè)務(wù)賦能，快速挖掘數據價(jià)值。借助星環(huán)科技TDH 極速大數據平臺，春秋航空快速提高了數據處理規模和數據處理性能，增強了數據管控力度，為數據挖掘和數據分析提供了全面的數據支持，堪稱(chēng)大數據平臺國產(chǎn)化替代的典范。

　　春秋航空大數據平臺建設需求和挑戰

　　春秋航空是一家倡導旅客個(gè)性化消費的航空公司，提升利潤和降低成本是春秋航空一直希望做的事情。而航空公司是重資產(chǎn)低利潤的行業(yè)，節約成本在眾多提高利潤的因素中占很大的比重。航空公司的航油成本占了總成本的30%到40%，所以節省航油成為降低成本的關(guān)鍵。

　　節省航油理論上講并不是很難，和開(kāi)車(chē)的邏輯類(lèi)似，按最短的路線(xiàn)，或控制好油門(mén)都可以省油。我們開(kāi)車(chē)時(shí)能用GPS選擇最短路線(xiàn)，對于飛機飛行來(lái)說(shuō)卻沒(méi)有那么簡(jiǎn)單。首先，我們要對飛機的飛行日志進(jìn)行分析。飛機上的QAR(Quick Access Recorder，快速存取記錄器)每八分之一秒會(huì )將飛機上3000多個(gè)設備儀器的參數記錄一次，飛機一天在天上要飛十幾個(gè)小時(shí)，一年下來(lái)數據量非常大。每架飛機一年會(huì )記錄一億多條數據，80多架飛機一年就是80多億條數據。因此做好節油工作首要任務(wù)是解決80多億的數據處理問(wèn)題。

　　早期，春秋航空引入了開(kāi)源大數據平臺CDH，并基于該平臺開(kāi)展了個(gè)性化推薦、精準營(yíng)銷(xiāo)方面的工作，但在使用的過(guò)程中發(fā)現了很多問(wèn)題。對于復雜的航空業(yè)務(wù)，原平臺需要大量的開(kāi)發(fā)工作來(lái)適配業(yè)務(wù)，對開(kāi)發(fā)人員的要求非常高，很難實(shí)現業(yè)務(wù)的快速落地和價(jià)值挖掘。

　　面對一些跨庫關(guān)聯(lián)的復雜分析場(chǎng)景需要數據的導入導出，過(guò)程較為繁瑣，費時(shí)費力。數據分析人員需要對數據進(jìn)行實(shí)時(shí)分析，以便對業(yè)務(wù)進(jìn)行快速調整，而原平臺只支持T+1的計算分析能力，不能滿(mǎn)足業(yè)務(wù)分析的實(shí)時(shí)性需求。如剛才介紹，航空飛行產(chǎn)生海量的數據，精細化到毫秒級別，而原平臺表現出存儲和處理分析能力不足。

　　另外，其混合架構以及開(kāi)源特性使得解決問(wèn)題的效率相對會(huì )比較低，給系統和業(yè)務(wù)運維帶來(lái)很大的壓力。

　　星環(huán)科技TDH助力春秋航空快速實(shí)現數據價(jià)值

　　當前，企業(yè)數智化轉型正是信息技術(shù)自主創(chuàng )新和國產(chǎn)化替代的主戰場(chǎng)，更是需要通過(guò)提升自主創(chuàng )新能力、加速數字化智能化轉型，全面推動(dòng)整個(gè)產(chǎn)業(yè)數字化進(jìn)程。

　　基于星環(huán)科技大數據基礎平臺TDH技術(shù)的先進(jìn)性和獨特性，春秋航空用TDH替換原先的開(kāi)源CDH數據平臺。借助星環(huán)科技TDH 高性能批處理及關(guān)系型分析引擎Inceptor等工具，春秋航空完成各種數據清洗，業(yè)務(wù)處理等工作，提高了數據處理規模，數據處理性能更快，增強了數據管控力度，為數據挖掘和數據分析提供了全生命周期的數據支持。

　　星環(huán)科技TDH大數據基礎平臺采用先進(jìn)的多模型統一架構，一體化構建服務(wù)于整個(gè)企業(yè)的統一數據資源庫，徹底打破不同部門(mén)間的數據隔閡，支持數據跨部門(mén)靈活調用，有效降低開(kāi)發(fā)運維成本。統一的計算引擎可以跟據不同的存儲引擎自動(dòng)匹配高性能算法，避免數據導入導出。統一的分布式存儲管理系統可以輕松實(shí)現 GB~PB級多源異構數據的高效存儲和統一管理，為不同的存儲引擎提供公共的存儲服務(wù)，有效保障數據一致性和高可用。

基于星環(huán)大數據平臺的架構設計

　　系統將每天產(chǎn)生在Oracle的數據進(jìn)行T+1抽取，業(yè)務(wù)邏輯打包成各種shell腳本等腳本，通過(guò)Transwarp Workflow任務(wù)調度軟件進(jìn)行調度，在大數據集群內進(jìn)行各種處理，完成數據清洗，業(yè)務(wù)匯總等工作。

　　關(guān)系型分析引擎Inceptor提供PB級海量數據的高性能分析服務(wù)，其同時(shí)支持完整的SQL標準語(yǔ)法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2的存儲過(guò)程，可以平滑遷移應用。同時(shí)其支持分布式事務(wù)處理，保障數據強一致性。跟開(kāi)源方案相比，Inceptor是全球首個(gè)通過(guò)分析決策系統國際基準測試TPC-DS及官方審計的產(chǎn)品，TPC-DS查詢(xún)性能是開(kāi)源Hive的7~25倍。

　　實(shí)時(shí)流計算引擎Transwarp Slipstream落地即分析，提供百萬(wàn)級高吞吐、毫秒級低延時(shí)業(yè)務(wù)處理支撐能力，滿(mǎn)足業(yè)務(wù)分析實(shí)時(shí)性需求，彌補之前CDH無(wú)實(shí)時(shí)分析能力的空缺。對于之前平臺無(wú)二級索引和全文搜索能力，分布式搜索引擎Transwarp Scope提供PB級海量數據的交互式多維檢索分析服務(wù)，能夠實(shí)現高可靠、高擴展性的全文搜索與靈活查詢(xún)。

　　春秋航空進(jìn)入數據精細化運營(yíng)時(shí)代

　　突破關(guān)鍵核心技術(shù)，加快推進(jìn)國產(chǎn)自主可控替代計劃，構建安全可控的信息技術(shù)體系，發(fā)展信創(chuàng )產(chǎn)業(yè)，是國家一項長(cháng)期戰略。經(jīng)過(guò)多年的發(fā)展，我國國產(chǎn)化替代不斷拓展，信創(chuàng )產(chǎn)業(yè)不斷發(fā)展壯大。

　　在數字經(jīng)濟時(shí)代，IT系統自主創(chuàng )新和國產(chǎn)化替代已經(jīng)不再僅僅是進(jìn)口的軟硬件產(chǎn)品替換成國產(chǎn)產(chǎn)品，而是要以新的思路、新的應用，將數智化與信創(chuàng )化相結合，形成中國企業(yè)真正的國產(chǎn)化應用替代。

　　星環(huán)科技與春秋航空的合作，成功的用國產(chǎn)自主可控的國產(chǎn)大數據平臺替代國外的開(kāi)源大數據平臺，應用成效突出：

　　利用星環(huán)科技TDH強大的數據處理能力，春秋航空完成了成本指數監控。例如上線(xiàn)4個(gè)月時(shí)，成本指數執行率從58%上升到69%。隨后春秋航空又建立了直飛優(yōu)化模型和高度優(yōu)化模型，實(shí)現了飛行路線(xiàn)的優(yōu)化。通過(guò)直飛模型可以提前分析大量的直飛機會(huì )，減少飛行距離，降低飛行成本。

　　同時(shí)通過(guò)對歷史飛行軌跡及優(yōu)化分析，可以尋找飛機攜帶油量的平衡點(diǎn)，從而降低航油消耗。基于星環(huán)科技TDH極速大數據平臺，春秋航空還建立了高度優(yōu)化模型。大氣層越往上越稀薄，飛機飛得越高阻力越小，意味著(zhù)越節油。通過(guò)海量數據監控建立高度模型對飛機飛行高度進(jìn)行優(yōu)化，從而達到節省航油的目的。春秋航空節油項目取得了很好的效果，據估算80架飛機每年僅燃油成本就可節省約2400萬(wàn)。

　　目前，基于星環(huán)科技TDH的大數據平臺已成為春秋航空所有數據的中心，負責所有條線(xiàn)營(yíng)銷(xiāo)服務(wù)、飛行安全、維護維修的數據分析。

　　星環(huán)科技大數據基礎平臺TDH憑借技術(shù)的先進(jìn)性，在眾多行業(yè)領(lǐng)域完成國外產(chǎn)品的進(jìn)口替代，幫助企業(yè)加速數字化轉型，更全面、更便捷、更智能、更安全地運用數據，大幅降低綜合成本。基于星環(huán)科技極速大數據平臺構建核心商業(yè)系統，是企業(yè)實(shí)現一站式數字化轉型、加速業(yè)務(wù)創(chuàng )新的致勝關(guān)鍵。