Science合作期刊Intelligent Computing發(fā)表新論文，中國科學(xué)院計算所徐志偉教授牽頭組織的“低熵云計算”專輯正式出版，收入了來自中國科學(xué)院計算所、中國科學(xué)院深圳先進(jìn)技術(shù)研究院、香港中文大學(xué)、鵬城實驗室、天津大學(xué)等單位的五篇投稿，得到了孫凝暉院士、陳云霽研究員、包云崗研究員等知名學(xué)者的支持，系統(tǒng)的介紹了“低熵云計算”的技術(shù)內(nèi)涵。此外，西安電子科技大學(xué)韓根全教授及其合作者發(fā)表用于智能計算的鐵電器件相關(guān)綜述，郝躍院士作為共同作者參與了論文發(fā)表。

“低熵云計算”專輯簡介

傳統(tǒng)的云計算系統(tǒng)常常存在高熵問題，究其原因是云計算系統(tǒng)中存在的三類無序現(xiàn)象：負(fù)載干擾、系統(tǒng)抖動和阻抗不匹配。這種無序混亂使當(dāng)前云計算系統(tǒng)難以同時滿足高利用率和低延遲的要求。應(yīng)用程序經(jīng)常需要超額占有云資源，有時甚至超出實際需要的數(shù)倍以保障其服務(wù)質(zhì)量。而超額申請的資源往往會成為滯留資源，雖然從未使用過，但也不能分配給其他應(yīng)用程序，極大地拉低了數(shù)據(jù)中心的資源利用率。

本期專輯中的五篇論文介紹了低熵云計算的進(jìn)展，提出了一個解決上述高熵問題的新概念系統(tǒng)。低熵云計算系統(tǒng)包括：可以在硬件層實現(xiàn)區(qū)分、隔離和優(yōu)先化(DIP)約束的標(biāo)簽化處理器架構(gòu)、提供10倍速增長的標(biāo)簽化網(wǎng)絡(luò)棧、可以顯著降低尾延遲的用于配置自動調(diào)優(yōu)的機(jī)器學(xué)習(xí)方法、可以用控制模式約束限制編程熵的分形并行模型 (FPM)、以及新的基準(zhǔn)套件SDCBench。這些論文涉及系統(tǒng)基準(zhǔn)測試和熵測量、處理器架構(gòu)、系統(tǒng)軟件、應(yīng)用程序框架和各種工作負(fù)載的評估結(jié)果。上述技術(shù)內(nèi)容共同表明，低熵云計算技術(shù)可以同時增強(qiáng)用戶體驗和資源利用率。

1. 一種支持低熵云的標(biāo)簽化體系結(jié)構(gòu)：理論、實踐與經(jīng)驗

在過去的十年中，資源效率和服務(wù)質(zhì)量(QoS)都是云計算供應(yīng)商長期追求的目標(biāo)。然而，直到今天，幾乎沒有一個云平臺能夠完美兼顧這些目標(biāo)。提高資源效率或資源利用率通常會導(dǎo)致云應(yīng)用在不同資源上（從底層硬件到軟件堆棧）發(fā)生復(fù)雜的資源競爭，從而導(dǎo)致嚴(yán)重的性能下降。低熵云系統(tǒng)提出了一種新的軟硬件協(xié)同技術(shù)棧，從下至上全面降低性能干擾，同時獲得高資源效率和高質(zhì)量的應(yīng)用性能。

本文介紹了一種新的支持低熵云的計算機(jī)體系結(jié)構(gòu)，稱為標(biāo)簽化馮諾依曼體系結(jié)構(gòu) (LvNA, Labeled von Neumann Architecture)，該架構(gòu)在計算機(jī)系統(tǒng)內(nèi)部集成了一套標(biāo)簽驅(qū)動的控制機(jī)制，能夠在系統(tǒng)共享資源上實現(xiàn)區(qū)分、隔離、優(yōu)先處理應(yīng)用程序請求。利用標(biāo)簽化機(jī)制，LvNA能夠在提高資源利用率的同時，保護(hù)特定應(yīng)用 （如延遲敏感型應(yīng)用）的性能不受無序資源競爭的影響。基于LvNA的設(shè)計，我們流片了一個1.2GHz 8核RISC-V處理器BEIHAI。實驗結(jié)果表明，BEIHAI能夠?qū)?nèi)存帶寬競爭導(dǎo)致的性能下降從82.8%大幅降低到0.4%。當(dāng)CPU利用率提高70%以上時，BEIHAI可以將延遲敏感型應(yīng)用Redis的99分位延遲從115 ms降低到18.1 ms。此外，BEIHAI還可以實現(xiàn)無需軟件Hypervisor支持下，同時啟動兩個未修改的虛擬機(jī)。

圖一：LvNA的標(biāo)簽驅(qū)動控制機(jī)制

2. 基于排隊理論的低熵標(biāo)簽化網(wǎng)絡(luò)棧的性能分析

理論建模是對計算機(jī)系統(tǒng)進(jìn)行量化分析和性能預(yù)測的一種流行的方法，同樣適用于云計算系統(tǒng)。隨著云計算系統(tǒng)的發(fā)展，“低熵云”正在成為一種新的趨勢。基于LNS (Labeled Network Stack)的服務(wù)器是“低熵云”的一個范例，它的性能比基于傳統(tǒng)網(wǎng)絡(luò)棧的服務(wù)器有數(shù)量級的提升。但我們?nèi)孕枧澹?)相對于學(xué)術(shù)界典型的用戶態(tài)協(xié)議棧mTCP和工業(yè)界主流的Linux內(nèi)核協(xié)議棧，LNS的低尾延遲和低熵的主要來源是什么；2) LNS還可以進(jìn)一步優(yōu)化多少。為此，我們提出了一種定義瓶頸階段的排隊論分析方法來簡化尾延遲的量化分析。在該分析方法的指導(dǎo)思想下，我們以突發(fā)流量為例，使用非侵入式的基礎(chǔ)測試獲取網(wǎng)絡(luò)服務(wù)各階段處理速度，基于負(fù)載和系統(tǒng)特征識別處理速度最慢的瓶頸階段，對基于LNS的服務(wù)器、基于mTCP的服務(wù)器和基于Linux的服務(wù)器分別建立了能感知階段處理速度變化的模型。模型揭示，全路徑優(yōu)先化處理和全程零拷貝是基于LNS的服務(wù)器的低尾延遲和低熵的主要來源，其99分位尾延遲與實際測量的誤差范圍在0.8%–24.4%。此外，基于LNS的服務(wù)器的模型可以提供訪問數(shù)據(jù)庫的最佳工作線程數(shù)，使其并發(fā)度提高了2.1–3.5倍。

圖二：瞬時突發(fā)請求的數(shù)量對所建模的三臺服務(wù)器的99分位尾延遲的影響。“LNS”、“mTCP”和“Linux”代表延遲敏感請求的99分位尾延遲的測量值；“-model”后綴代表模型預(yù)測值；“-1”后綴代表全部的請求。

3. 基于貝葉斯優(yōu)化的流數(shù)據(jù)處理系統(tǒng)資源配置調(diào)優(yōu)

大數(shù)據(jù)時代，流數(shù)據(jù)處理系統(tǒng)越來越受歡迎。像Apache Flink這樣的流處理系統(tǒng)通常會提供一定數(shù)量（比如30個）的配置參數(shù)來靈活地指定分配給任務(wù)的資源數(shù)量（比如CPU核數(shù)和內(nèi)存大小），這些參數(shù)對任務(wù)性能有較大影響。但是，對于運行在給定集群上的未知程序，手動對這些參數(shù)進(jìn)行調(diào)優(yōu)以獲得最佳性能是很困難的，因此需要一種自動且快速的資源配置調(diào)優(yōu)方法。為此，我們提出利用貝葉斯優(yōu)化方法來自動對流數(shù)據(jù)處理系統(tǒng)的資源配置進(jìn)行調(diào)優(yōu)。我們首先選擇一個機(jī)器學(xué)習(xí)模型—隨機(jī)森林，來為流數(shù)據(jù)處理程序構(gòu)建精確的性能模型。隨后，我們使用貝葉斯優(yōu)化(BO)算法，結(jié)合性能模型，通過迭代搜索得到流數(shù)據(jù)處理程序的最優(yōu)配置。實驗結(jié)果表明，對于第99個百分位的尾延遲，該方法平均提高了2.62倍，最大提高了5.26倍。此外，對于程序的吞吐量，我們的方法平均提高了1.05倍，最大提高了1.21倍。

圖三：所有程序 — WordCount (WC)，Identity(ID），RePartition(RP)和FixWindow (FW)的性能比較 — 默認(rèn)配置（DEF）：貝葉斯優(yōu)化算法（BOA）和改進(jìn)的爬山法（MHC）.

4. 分形并行計算

隨著機(jī)器學(xué)習(xí)(ML, Machine Learning)技術(shù)的興起，云、邊、端一系列應(yīng)用場景需要開發(fā)各種規(guī)模的專用ML計算機(jī)。然而，傳統(tǒng)ML計算機(jī)異構(gòu)、并行和多層次的特性使得開發(fā)成本集中在了軟件棧上（例如ML框架、計算庫和編譯器），限制了新型ML計算機(jī)的研發(fā)。在前期工作中，我們提出了分形馮·諾伊曼體系結(jié)構(gòu)(FvNA, Fractal von Neumann Architecture)來解決ML計算機(jī)的編程效率問題。FvNA在編程時具有規(guī)模不變性，因此在一系列不同規(guī)模尺度的ML計算機(jī)上開發(fā)軟件就如同在單節(jié)點計算機(jī)上開發(fā)一樣簡單。

本研究將FvNA向通用并行計算領(lǐng)域推廣。我們將FvNA建模為一個抽象的并行計算模型，稱為分形并行機(jī)(FPM, Fractal Parallel Machine)模型，隨后展示了幾個典型的通用領(lǐng)域并行計算任務(wù)在FPM上的高效編程實現(xiàn)。FPM通過對并行計算系統(tǒng)的控制模式施加額外約束來降低并行程序的熵；盡管如此，F(xiàn)PM仍然具有通用性，并且在許多情況下能夠以最優(yōu)開銷完成任務(wù)。初步結(jié)果表明，F(xiàn)PM與許多基本的并行計算模型（如BSP和交替圖靈機(jī)）一樣強(qiáng)大。因此，我們得以說明FvNA也普遍適用于ML以外的各種領(lǐng)域

5. SDCBench：用于數(shù)據(jù)中心工作負(fù)載托管和評估的基準(zhǔn)套件

數(shù)據(jù)中心通常通過工作負(fù)載的混部來提高系統(tǒng)資源利用率。然而，共享資源爭用會導(dǎo)致難以預(yù)測的應(yīng)用程序性能下降，從而制約混部技術(shù)所帶來的效益改善。如何提高數(shù)據(jù)中心的隔離能力這一問題在近年來引發(fā)了一系列硬件和軟件技術(shù)的相關(guān)研究，目前仍然缺乏一個全面的基準(zhǔn)測試套件來評估這些方法。

為了解決這個問題，我們提出了SDCBench，一個專門面向數(shù)據(jù)中心負(fù)載混部和刻畫而設(shè)計的新的基準(zhǔn)評測套件。SDCBench基于聚類分析方法從現(xiàn)有的基準(zhǔn)評測程序集中精心挑選了16個基準(zhǔn)應(yīng)用程序，能夠覆蓋各類常見的云業(yè)務(wù)場景。SDCBench利用一套統(tǒng)計學(xué)方法來支持工作負(fù)載的混部和評測，并首次提出了延遲熵的概念來衡量云計算系統(tǒng)的隔離能力。SDCBench能夠幫助云租戶了解數(shù)據(jù)中心的性能隔離能力，從而選擇最適合自身業(yè)務(wù)的云服務(wù)。SDCBench也有助于云服務(wù)器提供商其改善產(chǎn)品服務(wù)質(zhì)量，增加運營收入。實驗結(jié)果表明，SDCBench可以通過簡單的操作和配置來對多種維度的資源施加壓力，從而模擬多樣化的云負(fù)載混部場景。我們還基于SDCBench對華為云、AWS云和低熵云原型系統(tǒng)FlameCluser-II三個平臺進(jìn)行了應(yīng)用延遲熵的對比，評估結(jié)果表明FlameCluser-II在三種云系統(tǒng)中具有最好的性能隔離能力，達(dá)到了較低的延遲熵水平。

圖四：SDCBench總覽

晶體管的縮小正在接近其物理極限，阻礙了計算能力的進(jìn)一步發(fā)展。在后摩爾時代，新興的邏輯和存儲器件已經(jīng)成為擴(kuò)展智能計算能力的基本硬件。本文回顧了用于智能計算的鐵電器件的最新進(jìn)展，闡明了鐵電器件的材料特性和電學(xué)特性，隨后討論了可用于智能計算的新型鐵電材料和器件。作者對用于低功耗邏輯、高性能存儲器和神經(jīng)形態(tài)應(yīng)用的鐵電電容器、晶體管和隧道結(jié)器件進(jìn)行了全面的回顧和比較。此外，為了給開發(fā)基于鐵電的高性能智能計算系統(tǒng)提供有益的指導(dǎo)，作者總結(jié)討論了實現(xiàn)用于高效計算的超大規(guī)模鐵電器件的關(guān)鍵挑戰(zhàn)。

圖五：(a)使用馮·諾伊曼架構(gòu)的現(xiàn)代計算機(jī)面臨的挑戰(zhàn) (b)基于鐵電器件的“熱墻”，”內(nèi)存墻”和馮·諾伊曼瓶頸的解決方案示意圖

文章來源：新智元

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺