從飛信案例看海量并發(fā)用戶系統(tǒng)性能測(cè)試
2010/03/08
海量并發(fā)用戶系統(tǒng)性能測(cè)試的重要性不用多說，對(duì)這類系統(tǒng)必須進(jìn)行嚴(yán)格的性能測(cè)試。類似飛信這樣的系統(tǒng)，無論是用戶規(guī)模還是業(yè)務(wù)的復(fù)雜度，在國(guó)內(nèi)都屈指可數(shù)。自2006年開始的連續(xù)3年時(shí)間內(nèi)，神州數(shù)碼信息服務(wù)集團(tuán)集成服務(wù)戰(zhàn)略本部從眾多重量級(jí)的專業(yè)技術(shù)團(tuán)隊(duì)中脫穎而出，為中國(guó)移動(dòng)飛信系統(tǒng)提供了連續(xù)三期的性能測(cè)試服務(wù)。
一期：10萬用戶同時(shí)在線
飛信系統(tǒng)是中國(guó)移動(dòng)推出的“綜合通信服務(wù)”，融合了語音、GPRS、短信等多種通信方式，實(shí)現(xiàn)了互聯(lián)網(wǎng)和移動(dòng)網(wǎng)間的無縫通信服務(wù)。從2006年飛信推出第一個(gè)版本開始，其用戶發(fā)展速度之快之猛就大大超出了最初的預(yù)計(jì)。在上線后不到半年的時(shí)間內(nèi)，飛信系統(tǒng)與網(wǎng)絡(luò)就經(jīng)歷了多次的擴(kuò)容升級(jí)。現(xiàn)有的系統(tǒng)架構(gòu)究竟能承載多少用戶、升級(jí)的空間到底有多大是中國(guó)移動(dòng)對(duì)飛信系統(tǒng)最為關(guān)心的問題。因此，中國(guó)移動(dòng)亟需對(duì)現(xiàn)有系統(tǒng)架構(gòu)進(jìn)行一次容量及可擴(kuò)展性的全面評(píng)估測(cè)試。
基于以上背景，中國(guó)移動(dòng)啟動(dòng)了飛信系統(tǒng)一期性能測(cè)試項(xiàng)目，目標(biāo)是驗(yàn)證現(xiàn)有生產(chǎn)系統(tǒng)的單POOL處理能力是否能支撐10萬用戶同時(shí)在線訪問，以及POOL內(nèi)可擴(kuò)展策略是否有效、POOL間擴(kuò)展策略是否有效以及GlobalService的最大處理能力等。從技術(shù)角度來說，當(dāng)時(shí)有三大難題擺在測(cè)試團(tuán)隊(duì)面前：
第一，用戶行為分析、系統(tǒng)數(shù)據(jù)分析難度大，業(yè)界當(dāng)時(shí)也沒有可參考的成熟業(yè)務(wù)模型，因此如何建立一個(gè)有效的盡可能接近真實(shí)的業(yè)務(wù)模型是該項(xiàng)目最大的難點(diǎn)之一；
第二，模擬并發(fā)規(guī)模過大，用戶要求實(shí)現(xiàn)10萬用戶的同時(shí)在線訪問，而現(xiàn)有的測(cè)試工具甚至無法實(shí)現(xiàn)兩萬用戶同時(shí)在線訪問，而且由于用戶系統(tǒng)采用了異步通信方式，模擬并發(fā)過程中如何保證系統(tǒng)的穩(wěn)定性也是一個(gè)高難度的課題；
第三，由于數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)準(zhǔn)備亦成為當(dāng)時(shí)項(xiàng)目的一大難題。
經(jīng)第三方推薦，神州數(shù)碼信息服務(wù)集團(tuán)集成服務(wù)戰(zhàn)略本部質(zhì)量測(cè)試事業(yè)部的性能測(cè)試服務(wù)團(tuán)隊(duì)參與到了此項(xiàng)目中。事業(yè)部自創(chuàng)立之初，始終圍繞CIO關(guān)心的問題，設(shè)計(jì)提供一系列的服務(wù)。從IT部門自身的業(yè)務(wù)管理、IT治理結(jié)構(gòu)兩個(gè)方面全面支持CIO的重點(diǎn)工作，并提出以咨詢?yōu)橐龑?dǎo)、產(chǎn)品和解決方案為依托的全面質(zhì)量測(cè)試服務(wù)。200多名自有專業(yè)工程師，多年服務(wù)金融、電信及大型企業(yè)的IT系統(tǒng)建設(shè)及運(yùn)維經(jīng)驗(yàn)，使我們成為業(yè)界惟一的完整測(cè)試中心解決方案提供商。
項(xiàng)目技術(shù)攻關(guān)的關(guān)鍵時(shí)期，正值春節(jié)臨近。除夕夜凌晨四點(diǎn)，中國(guó)移動(dòng)領(lǐng)導(dǎo)值班時(shí)發(fā)現(xiàn)神州數(shù)碼的工程師正在全神貫注地調(diào)試測(cè)試腳本。正是靠這樣刻苦鉆研的精神和團(tuán)隊(duì)的集體智慧，我們一舉攻克了10萬以上用戶同時(shí)在線訪問的模擬技術(shù)，成為國(guó)內(nèi)首家掌握此項(xiàng)技術(shù)的團(tuán)隊(duì)。其他相關(guān)難題也先后被項(xiàng)目組一一攻克，項(xiàng)目如期順利完成。
二期：項(xiàng)目進(jìn)度空前緊張
第一期測(cè)試完成后，中國(guó)移動(dòng)認(rèn)識(shí)到現(xiàn)有的生產(chǎn)系統(tǒng)架構(gòu)難以在可控制的成本下滿足用戶數(shù)量飛速增長(zhǎng)的需求，開始尋找全新的系統(tǒng)架構(gòu)來替換現(xiàn)有系統(tǒng)，最后鎖定了兩套不同的備選系統(tǒng)。移動(dòng)希望確認(rèn)備選系統(tǒng)是否能滿足當(dāng)前及未來可能的性能需求，并進(jìn)行兩套系統(tǒng)之間的性能優(yōu)劣對(duì)比。基于一期的圓滿服務(wù)，中國(guó)移動(dòng)二期繼續(xù)選擇由神州數(shù)碼來完成這個(gè)項(xiàng)目。盡管有了一期的成功經(jīng)驗(yàn)，二期項(xiàng)目依然有不少新的挑戰(zhàn)：
- 模擬并發(fā)規(guī)模同樣非常大，要求實(shí)現(xiàn)10萬用戶的同時(shí)在線模擬，而且兩套系統(tǒng)的通信機(jī)制各不相同，需要同時(shí)開發(fā)兩套不同的測(cè)試腳本來分別模擬10萬用戶的在線訪問；
- 用戶模型構(gòu)建復(fù)雜，要準(zhǔn)備兩套不同的測(cè)試環(huán)境，數(shù)據(jù)準(zhǔn)備工作更大更復(fù)雜，而項(xiàng)目又要求在一個(gè)月內(nèi)完成測(cè)試任務(wù)，時(shí)間非常緊張，因此腳本開發(fā)的難度不亞于第一期。
項(xiàng)目的挑戰(zhàn)很大，在項(xiàng)目實(shí)施過程中又由于某些原因致使計(jì)劃生變，需要提前半個(gè)月完成測(cè)試工作，在技術(shù)難度與時(shí)間進(jìn)度的雙重壓力下，神州數(shù)碼的工程師放棄了所有的周末，測(cè)試執(zhí)行期間每天都工作到深夜十二點(diǎn)甚至凌晨?jī)牲c(diǎn)以后，最終提前完成了測(cè)試工作。
三期：上百G數(shù)據(jù)加大測(cè)試難度
飛信項(xiàng)目第三期發(fā)生在新的系統(tǒng)替換現(xiàn)有生產(chǎn)系統(tǒng)的割接上線前，中國(guó)移動(dòng)希望能對(duì)整個(gè)系統(tǒng)進(jìn)行一次全面的總體驗(yàn)收測(cè)試，以確認(rèn)系統(tǒng)上線后能正常運(yùn)轉(zhuǎn)并且能支撐未來半年的用戶增長(zhǎng)。項(xiàng)目目標(biāo)涵蓋了手機(jī)客戶端的功能測(cè)試、協(xié)議測(cè)試以及容量測(cè)試三大部分，項(xiàng)目所面臨的挑戰(zhàn)遠(yuǎn)遠(yuǎn)超出了前兩期：
1.容量測(cè)試要求實(shí)現(xiàn)200萬用戶同時(shí)上線訪問的模擬，這種規(guī)模的容量測(cè)試在國(guó)內(nèi)是首次，在國(guó)際上也非常罕見，而且相對(duì)于前兩期，這一次的容量測(cè)試中包含的業(yè)務(wù)種類增加了數(shù)倍，且包含兩種不同協(xié)議，用戶交互過程更加復(fù)雜，腳本開發(fā)的總體技術(shù)難度極高；
2.容量測(cè)試中，海量的數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析工作，使得測(cè)試執(zhí)行過程的控制以及最終測(cè)試結(jié)果的分析非常復(fù)雜，尤其是性能監(jiān)控的原始數(shù)據(jù)量超過上百G；
3.大規(guī)模的協(xié)議驗(yàn)收測(cè)試，沒有可參考的成熟模式，而且在不到兩個(gè)月的時(shí)間內(nèi)要完成5種協(xié)議、近百種業(yè)務(wù)的協(xié)議測(cè)試，同時(shí)要求測(cè)試腳本具有通用性、易用性、可重用性，不僅有很高的技術(shù)門檻，而且在任務(wù)分解、團(tuán)結(jié)協(xié)作方面也提出了很高的要求。
在這樣的情況下，團(tuán)隊(duì)所有的工程師團(tuán)結(jié)努力，盡管期間測(cè)試需求變化較大，最終仍然按客戶的要求按時(shí)完成了所有任務(wù)。
三期飛信項(xiàng)目的目標(biāo)各不相同，都存在相當(dāng)?shù)募夹g(shù)難點(diǎn)，其中諸如海量并發(fā)用戶同時(shí)在線訪問的模擬技術(shù)、大規(guī)模短時(shí)間內(nèi)的協(xié)議驗(yàn)收測(cè)試、上百G仿真業(yè)務(wù)數(shù)據(jù)的準(zhǔn)備與分析等一些技術(shù)難題的解決在國(guó)內(nèi)都非常罕見，部分技術(shù)難題更是獨(dú)此一家，神州數(shù)碼性能測(cè)試服務(wù)團(tuán)隊(duì)?wèi){借強(qiáng)大的技術(shù)實(shí)力和積極認(rèn)真的工作態(tài)度確保了項(xiàng)目的成功。
通信世界周刊
相關(guān)閱讀:
赞皇县|
永善县|
宁化县|
东光县|
安丘市|
车致|
时尚|
新蔡县|
博兴县|
德化县|
龙里县|
长沙市|
兰坪|
米易县|
上虞市|
若尔盖县|
沂源县|
兴文县|
五华县|
靖边县|
偏关县|
喀什市|
津南区|
绥宁县|
松江区|
三都|
尤溪县|
涪陵区|
包头市|
嘉峪关市|
吕梁市|
荆门市|
灵宝市|
蓝田县|
蓬安县|
循化|
博兴县|
应用必备|
文山县|
普安县|
洪江市|