97成人免费视频,97视频免费公开成人福利,免费视频99,99婷婷,国产伊人久久,亚洲视频欧美,国产精品福利久久

您當前的位置是:  首頁 > 資訊 > 文章精選 >
 首頁 > 資訊 > 文章精選 >

30萬億實時計算背后:騰訊首次揭秘技術演進之路

2019-11-07 14:43:15   作者:   來源:CTI論壇   評論:0  點擊:


  同時擁有多款億量級App、包括最高11億微信用戶的騰訊,一天會處理多少實時計算次數?
  答案是:30萬億。
  有一說一,騰訊已經成為中國實時數據計算量最大的公司。
  騰訊云聯合內部打造一套算力共享平臺,該算力彈性資源池有20萬的規(guī)模,大數據平臺每天有1500萬的分析任務、30萬億次的實時計算量,并且每天數據接入條數達35萬億條數據。騰訊云自身的分布式機器學習平臺,則能支撐1萬億維度的數據訓練。
  走到這一步,騰訊大數據能力在十年間進行了四次大規(guī)模升級。自研,正在成為騰訊的關鍵詞。
  十年前,騰訊管理幾百個節(jié)點都很困難,為了有效解決計算能力和大規(guī)模集群問題,騰訊自研調度器,相對原生調度器性能提升150倍,大大提升了集群可擴展性。
  2016年,騰訊打破Sort Benchmark四項世界紀錄,標志著算力已經達到世界領先水平。
  由于騰訊20萬臺彈性資源池的機器分布在多個數據中心,不同地區(qū)甚至不同國家,為了降低數據使用壁壘,騰訊在2018年自研了漂移計算引擎SuperSQL。
  作為統(tǒng)一的數據分析入口,SuperSQL通過智能CBO優(yōu)化器,將計算下推到分布在各地的異構數據源,數據分析性能提高N倍,且數據量越大優(yōu)勢越明顯。
  隨著模型的增大,最初用來做數據訓練的MR、Spark已經不能滿足上億的模型維度的需求。2015年初,騰訊開始自研高性能的分布式機器學習平臺Angel,采用PS架構,能支持10億維度。
  目前Angel發(fā)展到3.0版本,能支持萬億維度,也可以兼容Spark、PyTorch、TensorFlow等生態(tài),進一步降低了使用門檻。此外,Angel今年還新增了對深度學習、圖計算等的支持。
  騰訊云副總裁、騰訊數據平臺部總經理蔣杰
  目前,騰訊正在研究以批流融合、ABC融合、以及數據湖和聯邦學習為方向的下一代大數據平臺的研究,該平臺將具備混合部署、跨域數據共享和邊緣計算等能力。
  而支撐起這種量級的計算(短短5、6年時間增長了幾千倍)背后,是騰訊在基礎設施上的不斷演進。
  在Techo大會現場,騰訊首次全面披露了20年來基礎設施方面的技術積累:
  騰訊云副總裁、云架構平臺部總經理謝明
  服務器
  騰訊全網服務器總量超過100萬臺,是中國首家服務器總量超過百萬的公司,也是全球五家服務器數量過百萬的公司之一。
  經過早年使用通用服務器到定制服務器,騰訊現已推出自研服務器——星星海
  星星海采用可信鏈傳遞的硬件防篡改能力、先進的熱虹吸管散熱技術以及精細化的風道設計和風扇控制,實現了TCO降低30%、負載能效提升50%、實例綜合性能提升35%。
  數據中心
  第四代數據中心T-Block按照搭積木的方式,實現了全數據中心的模塊化配置及快速建設,相比于傳統(tǒng)大規(guī)模數據中心,現場施工周期縮短一半,自然冷卻技術可以將PUE降低至業(yè)界領先的1.2以下。
  采用T-Block方案,一個擁有30萬臺服務器的園區(qū)一年可節(jié)省2.5億度電。
  網絡
  騰訊已經與全球超過100家運營商建立了網絡互連。
  基于SDN和NFV自研分布式路由器集群替換傳統(tǒng)商業(yè)大型路由器,騰訊實現全網所有的軟件路由器的集中管控,能做到根據目的IP做單個用戶的流量調度;通過構建開放光網絡,基于SONiC自研交換機等,將網絡設備TCO下降20%+。
  計算
  騰訊云云計算操作系統(tǒng)VStation目前做到了每分鐘交付千臺虛擬機的能力,使得一個中等規(guī)模公司的計算需求可以快速得到滿足。同時,騰訊通過DPDK、智能網卡等軟硬件方案,將網絡、存儲等IO消耗卸載到硬件上,實現了虛擬機零損耗和虛擬機之間的零干擾。
  存儲
  騰訊云對象存儲COS實現了集群全體節(jié)點參與系統(tǒng)吞吐,磁盤利用率達到90%以上,同時系統(tǒng)的完全自治也大幅降低了運維的人工投入。
  數據庫
  從最早的MySQL開始,經歷QQ、Q-zone等業(yè)務爆發(fā)增長的騰訊逐漸選擇了數據庫自研路線。
  目前,騰訊云也通過開源托管、商業(yè)合作、自主研發(fā)三管齊下,提供了接近20種數據庫產品,讓用戶從選云、上云、用云全流程暢通無阻。
  開源
  騰訊正在成為大數據領域開源最全面的公司。
  在現場,騰訊正式對四大重點開源項目進行了聯合發(fā)布,包括:
  • 分布式消息中間件TubeMQ:業(yè)界延遲最低的一款開源消息中間件,延遲可低至5ms。
  • Kona JDK:在云場景下,JVM的啟動速度最高能夠提升到40%左右。
  • 分布式HTAP數據庫 TBase:兼容SQL標準,提供完整的分布式事務能力,金融級數據容災。
  • 企業(yè)級容器平臺TKEStack:穩(wěn)定管理萬級別的Kubernetes 集群,并且提供全方位的資源管控,解決網絡帶寬控制、磁盤 IO 等難題。
  截至目前,騰訊已經在Github上已經開源了86個項目,超過1000個貢獻者參與了開源貢獻,擁有超過25萬個Star數。騰訊在Github全球公司貢獻榜上排名前十,并已成為Apache基金會、 Linux基金會以及Openstack國際三大基金會的頂級白金贊助商,國內尚屬首家。
  “代碼是一個最沒有國界的語言。“Show me the code”,現在你只要展示出代碼,大家就知道你想表達什么東西。
—— 騰訊公司副總裁、騰訊云總裁邱躍鵬
  在現場,邱躍鵬帶來了騰訊對云計算未來趨勢的三大思考:
  • 軟硬件一體化(Cloud Native Hardware):隨著云計算承載的業(yè)務規(guī)模越來越大,軟件和硬件的結合成為剛需。
  • 無服務器計算(Serverless):把開發(fā)者從繁瑣、冗雜的開發(fā)配置工作中解放出來,開發(fā)者只需關注自己的業(yè)務邏輯。
  • 智能化(Smart):隨之而來的數據量不斷增長,對算力的要求越來越高,人工智能成為開發(fā)者們必須關注和應用的技術。
  騰訊云的基礎產品也在朝極致彈性的方向努力。
  騰訊云打造的第三代通用計算平臺「無服務函數計算」,能夠提供更好的彈性能力,真正意義上做到資源使用率100%,用戶相應成本下降50%以上。
  通過函數并發(fā)監(jiān)控數據實時計算,提前擴容,我們使函數冷啟動率降低到萬分之一以內。自研的輕量級虛擬化技術,能在35ms內啟動一臺虛擬機,創(chuàng)造了業(yè)界目前能最快啟動一臺虛擬機的記錄,這一技術還被穩(wěn)定應用于“小程序·云開發(fā)”。
  騰訊云對象存儲COS還提供了不同地域不同計費的方式,用戶根據使用場景,按需選擇最劃算的方案。
  數據庫產品CynosDB則基于計算存儲解耦架構,支持超大實例并實現更好的彈性能力。單實例最多可以達到百TB級別,而多計算節(jié)點間的存儲共享,可以使同一實例的計算節(jié)點擴展到15個。
  截至目前,騰訊云已經服務了數百萬開發(fā)者,給到開發(fā)者的資源扶持超過100億元。
  今天,用云、上云已經變成大勢所趨,更有越來越多的產品,直接在云中誕生、在云中生長,云計算基礎架構在一切背后、更在一切之前。我們期待與所有的云上開發(fā)者一同成長,共創(chuàng)未來!來源:騰訊云

 
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)

泾源县| 秭归县| 临沧市| 奉节县| 武隆县| 白水县| 长垣县| 开鲁县| 自贡市| 沅江市| 邵阳县| 四平市| 无极县| 灵宝市| 宁南县| 宜春市| 浏阳市| 金乡县| 新津县| 江油市| 沾益县| 白银市| 兴海县| 重庆市| 射洪县| 绥德县| 广丰县| 广州市| 高陵县| 尚义县| 岫岩| 海伦市| 万荣县| 阳春市| 三门县| 邮箱| 新龙县| 临邑县| 兴化市| 永仁县| 安达市|