當今世界正處在信息技術（IT）創(chuàng)新的黃金時代。由機器學習、物聯(lián)網(wǎng)和大規(guī)模可擴展應用支持的云計算、移動應用、大數(shù)據(jù)分析的巨大力量正在重塑商業(yè)和社會的方方面面。而這場IT復興的中心，則是超大規(guī)模的全球數(shù)據(jù)中心（DC）在公共、私有和混合云計算領域的不斷涌現(xiàn)。根據(jù)Synergy Research Group的數(shù)據(jù)統(tǒng)計，全球超大規(guī)模數(shù)據(jù)中心的數(shù)量從2016年的300個增加到2017年的390個，另有69個超大規(guī)模的數(shù)據(jù)中心正處于規(guī)劃或建設階段。

　　本文首先簡要回顧了迄今為止數(shù)據(jù)中心基礎架構創(chuàng)新的三大浪潮。然后，將介紹第四波IT基礎架構創(chuàng)新：即應用定義基礎架構（ADI），以及推動大型企業(yè)采用它的技術力量和運營挑戰(zhàn)。

　　數(shù)據(jù)中心是專門建造的一種基礎架構，用于放置計算機系統(tǒng)和相關組件，如網(wǎng)絡設備、存儲系統(tǒng)和電信設備。它是通向我們連接的世界的知識經(jīng)濟的大腦。現(xiàn)代的數(shù)據(jù)中心起源于20世紀60年代的主機房、電信中心辦公室和企業(yè)IT布線室。在過去二十年里，一波又一波迅猛涌現(xiàn)的技術創(chuàng)新浪潮極大地提高了現(xiàn)代數(shù)據(jù)中心的技術水平。

　　裸機服務器是提供給單一租戶的物理服務器。它的優(yōu)勢在于高應用性能和可預測性。弱點在于：高成本、提供應用的中等復雜性和應用部署后的低靈活性。它們會繼續(xù)存在，作為某些特定的，對性能敏感的工作負載的解決方案，這種工作負載值得使用這種專有的基礎架構（如數(shù)據(jù)庫）。裸機服務器還的經(jīng)常用于專用的計算機集群，這些集群是為支持特定的可擴展分布式計算應用（如Hadoop集群）而構建的。對于更大的靈活性和更好的經(jīng)濟性的要求使得這種方式在不斷發(fā)展的應用環(huán)境下受到了限制。

　　虛擬化是對計算機系統(tǒng)的仿真，它可以使一臺物理計算機能夠運行一臺或多臺虛擬機（VM）。

　　圖1：使用虛擬機管理器實現(xiàn)的虛擬化使得一臺計算機看起來像多臺計算機

　　雖然這一概念可以追溯到20世紀60年代和大型計算機時代，但直到1998年，隨著VMware將其虛擬機管理器的商業(yè)化，它才真正被應用到提高IT效率的最前沿。在VMware之前，大量昂貴的計算機資源未得到充分利用。通過使一臺計算機看起來像多臺計算機，每臺計算機都有自己的客戶端操作系統(tǒng)，VMware的虛擬機管理器幫助解決了提高IT效率的需求。1999年發(fā)布的VMware虛擬機管理器非常新穎，因為它首次在Intel x86上實現(xiàn)了虛擬化，通過使用二進制轉(zhuǎn)換來替換特權指令，將其捕獲到虛擬機管理器中。截至2017年11月，VMware已成長為一家高利潤的，市值達到530億美元的公司，在2017年第三季度，它的收入為19.8億美元，凈利潤為4.43億美元。由于全球數(shù)以萬計的企業(yè)都在VMware的虛擬化系統(tǒng)上運行其重要的運營系統(tǒng)，因此，在基于虛擬機管理器的企業(yè)私有云虛擬化解決方案中，VMware成為虛擬化市場的龍頭老大。其它的虛擬化軟件包括了Microsoft Hyper-V、Linux KVM和Xen。

　　使用虛擬機管理器（hypervisor）實現(xiàn)虛擬化的優(yōu)勢包括：技術成熟；廣泛采用；通過啟用多個虛擬機來提高了計算機利用率；基于虛擬機構建和操作云的基礎架構軟件；強大的多租戶架構支持。

　　而這種虛擬化的弱點包括：高復雜性；虛擬機管理器的資源開銷；每個客體虛擬機的客戶端操作系統(tǒng)資源開銷；相對于裸機基礎架構而言，對應用的性能不可忽略的影響；當一個用戶影響同一物理服務器中其他用戶的性能和穩(wěn)定性時的“鄰近噪聲效應”。多個虛擬機同時發(fā)送其IO請求時導致存儲性能降低時的“IO攪拌機效應”。基于工作負載的虛擬機管理器的極高的能源消耗；以及實例化新虛擬機需要的時間。

　　使用虛擬機管理器構建了虛擬化平臺的虛擬機管理軟件供應商和云平臺運營商正在致力于通過以下技術來解決其中的一些弱點：硬件虛擬化（例如，Amazon Nitro項目）；輕量級虛擬機管理器；將操作系統(tǒng)和應用打包在同一內(nèi)核鏡像內(nèi)以消除傳統(tǒng)的內(nèi)核空間和用戶空間的分隔的單一內(nèi)核技術（Unikernels）；以及各種無服務器計算技術。

　　超聚合基礎架構（HCI）是一種完全由軟件定義的IT基礎架構，它可以虛擬化傳統(tǒng)“硬件定義”系統(tǒng)的所有元素。HCI至少包括虛擬化計算（一個hypervisor）、虛擬化存儲（軟件定義的SAN）和虛擬化網(wǎng)絡（軟件定義的網(wǎng)絡）。

　　圖2：超聚合基礎架構（來源：Nutanix HCI最終指南）

　　簡單地說，HCI將計算、存儲和網(wǎng)絡連接集成到一個“盒中云”一體機中，然后提供硬件和軟件資產(chǎn)的統(tǒng)一管理視圖，以隱藏云平臺的復雜性。HCI在裸機設備上使用復雜的基礎設施軟件，以簡化管理，并提高最終用戶在某些高價值應用（如虛擬桌面）中的易用性。HCI供應商包括Dell/EMC、IBM、聯(lián)想、HP、Nutanix、Stratoscale和Cisco。

　　在IT轉(zhuǎn)型的前三波浪潮中，每個IT項目首先都是從規(guī)劃底層基礎架構開始。例如，要部署數(shù)據(jù)庫，計劃的第一步都是從獲取和配置服務器或虛擬機、網(wǎng)絡設備和存儲設備開始。所有必需的基礎架構組件一開始都要計劃好，以確保它們滿足應用的當前的服務等級協(xié)議（SAL）和預期增長的要求。只有在計劃和配置了所有這些基礎架構之后，應用才能上線。但是基礎架構存在的目的是為應用服務的，而不是反過來。所以，基于應用來啟動一個IT項目不是更好嗎？通過只描述其需求，并讓基礎架構自行組裝和配置以滿足這些需求（當前的和預期的），這樣是不是更好？

　　當前我們正在處在第四波IT基礎架構創(chuàng)新的浪潮，基礎架構將由它所服務的應用來定義。在這第四波浪潮中，應用和人員都擺脫了底層IT基礎架構的束縛。底層基礎架構本身可能會發(fā)生變化，從裸機到虛擬機，再到私有云或公共云，但與應用的交互始終保持不變。第四次浪潮將是應用定義基礎架構（ADI）的時代，基礎架構變得越來越不可見，至繁再次歸于至簡。

　　下面將闡述第四波IT基礎架構的驅(qū)動因素，首先我們從一個重要的長期趨勢- 容器技術開始。

　　容器技術是一種將應用及其依賴項打包的技術，它允許將一個應用從一個計算環(huán)境可靠地移動到另一個計算環(huán)境。

　　圖3：容器技術 vs.hypervisor虛擬化技術（來源：Docker）

　　與把整個操作系統(tǒng)與應用打包在一起的虛擬機不同，在一臺計算機上運行的多個容器共享操作系統(tǒng)。在自己的容器中運行的每個應用繼續(xù)享有一個隔離邊界，使其看起來像是在該計算機上運行的唯一應用。

　　隨著Docker在2013年引入應用容器，容器技術變得廣泛流行起來。Docker通過將應用打包成Docker鏡像的形式作為行業(yè)標準，在推廣容器概念方面發(fā)揮了領導作用。

　　容器，特別是Docker，大大簡化了應用的配置。它們在將配置和應用的有效負載（容器鏡像）的合并或（如果適用）分離之間達到了正確的平衡。容器以接近零的開銷運行，因為容器并沒有使用虛擬機管理器hypervisor進行虛擬化。相反，它們將應用（或應用的一部分）彼此隔離在安全分區(qū)中，這些分區(qū)在主機操作系統(tǒng)上的共享用戶空間中運行。這意味著應用以裸機速度運行，而不消耗任何額外的資源。

　　但是，容器本身不足以作為IT基礎架構管理范式，因為它們不具備“基礎架構感知”能力。很多機構發(fā)現(xiàn)，現(xiàn)有的數(shù)據(jù)中心基礎架構無法處理大量的容器化的應用，因為基于單一現(xiàn)代微服務的Web應用可以輕松地使用超過數(shù)百個或更多的容器。需要運行很多應用的機構，經(jīng)常發(fā)現(xiàn)他們的系統(tǒng)管理團隊在試圖將資源與容器匹配時不知所措。

　　容器通過允許多個應用在同一服務器上運行來提高服務器利用率。但是，由于所有應用共享相同的存儲，而存儲的性能可能不穩(wěn)定，這會影響所有應用的性能。為了解決這一問題，一些機構將關鍵的應用部署在隔離的基礎架構上，以確保良好的性能，但是這樣做導致硬件的過度配置和資源利用率的低下。云計算技術正在發(fā)展以解決這個問題。長期以來，云服務提供商一直提供IaaS（基礎架構即服務）和PaaS（平臺即服務）產(chǎn)品。而第一波基于裸機的CaaS服務（容器即服務）正在開始由最大的云服務提供商開發(fā)。在討論CaaS產(chǎn)品時，“應用狀態(tài)（application state）”的概念非常重要。

　　理解“應用狀態(tài)”的概念有助于理解服務于應用的IT基礎架構不斷發(fā)展的需求。應用狀態(tài)是應用組件執(zhí)行其預期功能所需的數(shù)據(jù)。一個應用可能需要配置信息、用戶證書（user credentials）、用戶畫像 （user profile） 、用戶歷史記錄、點擊流數(shù)據(jù)（clickstream data）等等。與應用相關聯(lián)的數(shù)據(jù)可以存儲在許多不同的物理位置：本地服務器緩存、文件系統(tǒng)、數(shù)據(jù)庫表或其它存儲資源中。有許多因素有助于全面了解應用狀態(tài)，如應用的持久性要求（正常運行時間、重新啟動要求、數(shù)據(jù)丟失窗口等），配置狀態(tài)，會話狀態(tài)，基礎架構狀態(tài)（如網(wǎng)絡地址、集群狀態(tài)）等等。

　　無狀態(tài)的應用不會保存在一個會話中生成的客戶端數(shù)據(jù)，以在與該客戶端的下一個會話中使用。每一個會話都像第一次一樣執(zhí)行，響應不依賴于前一個會話的數(shù)據(jù)。像HTTP這樣的協(xié)議是無狀態(tài)的，Web服務器不會記住處理中的跨頁面請求的任何狀態(tài)。

　　相反，有狀態(tài)的應用會保存以前會話的數(shù)據(jù)，它們限制需要存儲在客戶端的數(shù)據(jù)，并將上一次使用的信息保留在服務器上以備下一次使用。需要執(zhí)行實時工作的應用通常維護一些狀態(tài)信息以獲得快速的響應時間。這樣的例子包括內(nèi)容分發(fā)網(wǎng)絡（CDN）、流媒體服務器、身份管理和身份驗證服務器以及用于支付處理的核心交易系統(tǒng)。許多至關重要的關鍵應用通常需要保留和管理狀態(tài)信息。復雜的分布式大數(shù)據(jù)、NoSQL和數(shù)據(jù)庫應用都是有狀態(tài)的，需要在本地和云平臺中運行。僅僅將存儲卷附加到Docker上不足以支持有狀態(tài)的應用，因為這并不能解決性能的可預測性、應用的可移植性和高可用性、生命周期管理等問題。因此，迫切需要云計算基礎架構更好地支持有狀態(tài)的關鍵應用。

　　只有當容器能夠有效地部署、管理和擴展時，將應用放入容器才變得有趣。容器編排引擎發(fā)揮了管理容器集群的重要功能，是第四波IT基礎架構的重要組成部分，其重要性之高，以至于引發(fā)了一場“容器編排大戰(zhàn)”。主要參戰(zhàn)方包括了Docker公司的Swarm，Redhat公司的Openshift，Rancher公司的Cattle，Mesosphere公司的Marathon，AWS公司的ECS，和CoreOS公司的Fleet。容器編排是戰(zhàn)略性的，它是更廣泛基礎架構管理解決方案的一個組成部分。容器編排引擎的重心主要針對無狀態(tài)的云原生應用。然而，也有一些公司在致力于提高容器化環(huán)境中支持像MySQL和PostgreSQL等開源數(shù)據(jù)庫的能力（如Kubernetes的StatefulSet），這就需要全面的基礎架構控制，以滿足服務級別協(xié)議（SLA）、服務質(zhì)量（QoS）以及有狀態(tài)的應用的高可用性要求。

　　隨著容器技術的興起，以及在共享多租戶基礎架構上優(yōu)雅地運行無狀態(tài)和有狀態(tài)的應用的需求的上升，應用定義基礎架構（ADI）應運而生。

　　ADI可以描述為一個基于容器的、應用感知的計算和存儲平臺，運行在通用硬件組件上。它的軟件有效地抽象了底層服務器、虛擬機、網(wǎng)絡和存儲邊界，以生成一個集計算、存儲和數(shù)據(jù)的連續(xù)體。許多不同的容器化應用都可以在這個連續(xù)體中運行，而不會影響彼此的性能。

　　應用的可移植性和可擴展性得到了提高，因為計算和存儲是分離的；應用可以在不移動或復制數(shù)據(jù)的情況下圍繞著連續(xù)體自由移動。復雜的分布式應用，如NoSQL、Hadoop、Cassandra和Mongo，可以快速輕松地部署。

　　ADI能夠根據(jù)單個應用的需求以及環(huán)境的拓撲結構智能地提供容器和存儲，并配置應用以充分利用這些組件。ADI確保所有應用獲得足夠的計算、存儲和網(wǎng)絡資源，以滿足用戶定義的服務質(zhì)量要求；保證了所有應用的性能的可預測性。

　　ADI應該能夠自動恢復失敗的節(jié)點和磁盤，并在服務器之間無縫地移動工作負載。因此，硬件的使用更加有效率，對硬件的需求降低，從而可以為不可避免的性能峰值預留更多的硬件。

　　Robin Systems 公司（以下簡稱Robin或Robin公司）的應用定義基礎架構（ADI）是第四代IT基礎架構解決方案，專門設計用于滿足裸機、hypervisor虛擬化或HCI所不能滿足的快速發(fā)展的新興需求。Robin公司的ADI由容器支持，但遠遠超出了容器編排或基于容器的IT基礎架構的傳統(tǒng)概念。

　　圖4: Robin公司ADI功能框架圖

　　Robin公司的ADI是一個基于容器、應用感知的計算和存儲平臺。其軟件有效地抽象了底層服務器、虛擬機、網(wǎng)絡和存儲邊界，它是一個集計算、存儲和數(shù)據(jù)的連續(xù)體。許多不同的容器化應用都可以在這個連續(xù)體中運行，而不會影響彼此的性能。應用的可移植性和可擴展性得到了提高，因為計算和存儲是分離的；應用可以在不移動或復制數(shù)據(jù)的情況下圍繞著連續(xù)體自由移動。復雜的分布式應用，如NoSQL、Hadoop、Cassandra和Mongo，可以快速輕松地部署。包含了整個應用環(huán)境的Robin應用級快照使得快速創(chuàng)建生產(chǎn)環(huán)境的副本變得輕松容易，而不會影響生產(chǎn)性能，并且可以快速回滾到以前的時間點以更正問題。

　　Robin技術的關鍵是它的應用感知結構控制器（Application-Aware Fabric Controller），它是所有應用部署和數(shù)據(jù)移動的管理層。它控制和管理著兩個主要資產(chǎn)，即應用感知計算平面（Application-Aware Compute Plane）和應用感知存儲平面（Application-Aware Storage Plane），這兩個資產(chǎn)分別將計算和存儲虛擬化，消除了容量的孤島。控制器能夠根據(jù)單個應用的需求以及環(huán)境的拓撲結構智能地提供容器和存儲，并配置應用以充分利用這些組件。這使得通過一次點擊來部署Cassandra和Hadoop這樣的復雜的多容器應用成為可能。此外，F(xiàn)abric Controller確保了所有應用獲得足夠的計算、存儲和網(wǎng)絡資源，以滿足用戶定義的服務質(zhì)量要求；保證了所有應用的性能的可預測性。Robin控制整個I/O路徑，因此它可以管理讀/寫請求的優(yōu)先級，而且可以提供保證的最小和最大IOPS級別，以確保應用的性能不受鄰近噪聲的影響。

　　Robin ADI還通過一鍵單擊粒度快照和精簡克隆（可以在幾秒鐘內(nèi)創(chuàng)建）提供數(shù)據(jù)生命周期管理。不像克隆和快照的其他實現(xiàn)，Robin克隆了整個應用的環(huán)境，包括存儲、操作系統(tǒng)、應用配置和網(wǎng)絡拓撲結構。如果一個應用出現(xiàn)了問題，數(shù)據(jù)可以在幾秒鐘內(nèi)回滾到已知的可工作的快照。為了確保高可用性，F(xiàn)abric Controller監(jiān)視基礎架構并自動恢復故障節(jié)點和磁盤。由于Robin能夠無縫地在服務器之間移動實時運行的工作負載而無需中斷服務，因此可以更高效地使用硬件，對硬件的需求降低，從而可以為不可避免的性能峰值預留更多的硬件。

　　圖5: ESB Group提供的1代裸機、2代虛擬機和4代Robin's ADI的基準測試結果（來源：https://robin systems.com/wp-content/uploads/2017/05/esg-lab-review-robin-systems-jan-2017.pdf，第7頁）

　　Robin的ADI解決方案在《財富》50強公司的任務關鍵型生產(chǎn)環(huán)境中得到了大規(guī)模部署和驗證。其中一個著名的部署是在一個由通用硬件構建的共享基礎架構上同時運行一個Cassandra虛擬集群、一個Hadoop虛擬集群、一個Elk虛擬集群、一個復雜分析管道和多個符合ACID規(guī)范的關系型數(shù)據(jù)庫。每一個復雜的應用都可以用一個蘋果應用商店實例化，就像點擊一個圖標一樣。

　　Kubernetes（K8S）在前面已經(jīng)討論過，它是一個面向無狀態(tài)應用的容器編排框架。Kubernetes是一種重要的新興技術，在無狀態(tài)容器管理（例如，服務發(fā)現(xiàn)和負載平衡）方面具有優(yōu)勢。這些在有狀態(tài)應用的世界和/或Robin ADI服務的現(xiàn)代數(shù)據(jù)堆棧應用中都不太用得上。Kubernetes（K8S）是在Google開發(fā)的，它用激進地過度構建云硬件資源的方式來解決共享資源的爭用。將同一用戶空間中并發(fā)運行多個容器的問題拋給硬件和技術人員，然后精簡主機操作系統(tǒng)內(nèi)核的做法，似乎不太可能滿足大多數(shù)私有云和混合云向前發(fā)展的需要。

　　相反，Robin ADI是一個大數(shù)據(jù)，NoSQL和數(shù)據(jù)庫部署和應用生命周期管理框架，面向復雜的分布式和老舊應用。Robin ADI為每個在倉庫規(guī)模的計算設備上運行的容器提供了可靠的QoS和SLA。

　　當今IT界面臨的一個關鍵挑戰(zhàn)是使許多分布式計算應用能夠在高效的共享基礎架構上和平共存，在這種基礎架構中，每個應用都可以根據(jù)工作負載的要求以近乎實時的方式進行適當?shù)臄U展，而不會損害其他應用的性能。

　　在當今的私有云、公共云和混合云中，業(yè)務連續(xù)性和災難恢復的傳統(tǒng)概念集中在數(shù)據(jù)可移植性上。它不僅僅是指數(shù)據(jù)的可移植性，而且指跨平臺的完整的應用和數(shù)據(jù)的可移植性。這不僅意味著應用的可執(zhí)行文件的移動，還意味著實際運行時的應用和相關數(shù)據(jù)在使用中的移動。

　　基礎架構傾向于增加和擴展，而不是完全被替換。因此，基于虛擬化和HCI的第二和第三波IT基礎架構還需要很多年的時間被采用新技術的架構所取代。然而，向第四波IT基礎架構的過渡已經(jīng)開始。

　　Robin Systems公司已經(jīng)構建了第一個真正的ADI解決方案。這是一個轉(zhuǎn)折點，無狀態(tài)和有狀態(tài)的應用都可以在一個穩(wěn)定的、高性能的，高成本效益的，完全由經(jīng)濟高效的通用硬件構建而成的共享基礎架構上優(yōu)雅地運行和擴展。沒有我們不知道的復雜性需要隱藏，也沒有類似其它方案的虛擬化管理軟件的成本需要降低，因為這些問題已經(jīng)完全被云平臺管理堆棧消除了。

　　有了Robin ADI，你可以這樣很容易地在你的應用中啟動一個IT項目：你只需要描述它的需求，而基礎架構就會自行組裝和配置以滿足這些需求。這是Robin ADI解決方案在存儲層的重大創(chuàng)新。

　　最后，Robin ADI允許從容器構建的整個活動集群從一個主機操作系統(tǒng)遷移到另一個主機操作系統(tǒng)，并在不中斷服務的情況下進行放大或縮小。這賦予應用和數(shù)據(jù)新的基于云平臺的獨立性，它們可以無縫地在私有云、公共云和混合云之間遷移。Robin ADI獨特的視角和突破性創(chuàng)新是基于每個容器集群的“application-to-spindle” QoS和可靠的SLA。這需要跨計算層、存儲層和網(wǎng)絡層，并且一起協(xié)力工作的創(chuàng)新。這種以應用為中心的工作流管理將原生云應用和傳統(tǒng)應用的簡化提升到了一個新的水平，達到了大道至簡的終極境界。

　　原文：https://www.linkedin.com/pulse/how-application-defined-infrastructure-adi-disrupt-cloud-chris-rust/

　　作者簡介：Chris Rust， Clear Venture公司聯(lián)合創(chuàng)始人。