sponsored links

華為雲首席架構師獨家分享:雲原生2.0架構設計的8大關鍵趨勢

雲原生2.0是企業智慧升級新階段,企業的雲化從“ON Cloud”走向“IN Cloud”,當一切應用都生於雲,長於雲,雲架構的迭代也會進入一個新的階段。

圍繞雲原生2.0,華為雲首席架構師顧炯炯提出了8個關鍵模式: 分散式雲,混合排程,應用驅動基礎設施,存算分離與資料治理自動化,可信、平民化DevOps,基於軟匯流排的異構整合,多模態可迭代AI模型,全方位立體式雲安全。

華為雲首席架構師獨家分享:雲原生2.0架構設計的8大關鍵趨勢

分散式雲

隨著雲化和數字化滲透到製造類、工業網際網路類場景,5G技術在to B領域應用的快速成熟,以及物聯網 、AI技術的成熟,現在雲的服務物件不僅是企業的後臺IT支撐系統,它延伸到了前端的“現場”,類似於工業場景裡的近場計算。如果還是將所有的數字化應用系統都放在集中的資料中心,它的時延無法滿足實時生產系統的要求。

另外,有一些行業的敏感資料不能從現場或者資料產生地直接簡單的上傳到雲端,它存在資料安全、隱私保密的問題。再比如醫療裡的基因大資料、影片監控等場景,如果所有資料都上傳到雲端,頻寬的成本非常高昂。

所以,我們必須要引入雲邊端協同的分散式概念,構建分散式雲的架構。 這個架構可以和核心側架構配合,覆蓋核心區域、熱點區域、本地機房、業務現場等不同接入時延敏感度,資料隱私合規要求及資料上雲頻寬成本的應用上雲場景。

舉個例子,透過這樣的方式,可以把雲端的很多算力和計算邏輯,甚至是訓練好的AI模型推送到更加靠近使用者資料產生地的位置上,進行就近的計算,將海量的資料做一定的收斂、分析、脫敏等,再發送到雲端進行閉環的處理和控制反饋。

混合排程

在很多演算法專家的努力下,華為雲透過瑤光排程平臺大大提高了資源的分配效率,達到甚至超過了80~90%的程度,已經接近於業界的領先水平。但是資源的實際利用率仍然處在一個比較低的水平,當然業界平均也不是特別理想,領先者差不多20%左右。為了解決這樣的問題,華為雲引入混合調動、柔性計算的能力,將線上和離線的不同優先順序的業務,進行QoS感知的智慧呼叫,實現資源利用率最大化。

柔性計算不僅僅具備彈性的特徵,保證了橫向的資源擴充套件,而且它也能實現縱向資源規格的可大可小。目前,消費者雲已經在內部驗證了柔性計算的能力,可以在不改變上層業務的前提下提高利用率,實現效能的倍增。關於柔性計算的更多內容參考:華為雲首席架構師顧炯炯:敢為人先,探索架構創新之路如何走-雲社群-華為雲

應用驅動的基礎設施

如今,軟硬體的垂直整合,特別是靠近作業系統底層的硬體和雲服務基礎設施層的服務軟體之間的縱向整合能力,成為新的趨勢,它把基礎設施服務底層的硬體和相應的服務封裝層打包在一起。

雲服務廠商可以設計研發定製晶片,比如儲存和網路的硬體解除安裝的晶片、匹配深度學習邏輯處理框架的晶片等等。如果有能力構建這樣的軟硬體垂直整合的能力,就能擁有相比其他雲服務商更優的價格優勢,也得以呈現自身獨特的硬體、晶片優勢。

有了應用驅動的基礎設施之後,根據應用的效能SLA需求,來定義是使用與軟體完全解耦的通用硬體資源,還是匹配應用場景特殊訴求的軟硬體深度協同的解除安裝卡或異構計算資源。

這也能發揮華為軟硬體兼長的優勢,我們在硬體領域有不少核心創新:一個是 SDI, 叫軟體驅動的基礎設施,也就是把分散式儲存\分散式網路,還有Hypervisor的一些系統能力從伺服器解除安裝到PCI卡上,也即SDI/擎天解除安裝卡。二是鯤鵬硬體支撐雲端儲存和資料湖的處理, 鯤鵬單核處理能力雖弱於X86,但核密度則達到X86 CPU的2倍,因此在對IO及記憶體頻寬作為其效能瓶頸的大資料及分散式儲存場景,是比X86更好的選擇。同時,我們也在用自研的昇騰NPU取代GPU構建AI平臺, 它在深度學習的訓練推理中體現出更高的能效比。

存算分離和資料治理的自動化

未來企業的所有的資料孤島都將匯聚到雲端的資料湖,進行統一生命週期的治理和管理,所以必須要解決資料計算分析的資源需求。資料湖裡有各種各樣的結構化、半結構化、非結構化的資料,但這些資料的分析計算和底層的儲存容量之間的需求,並不是線性匹配的關係。 比如對於深度學習的場景,資料量需要不斷地計算迭代,它需要更多的計算能力,相對較少的儲存需求。因此在不同的業務場景下,資料分析計算和儲存的要求是不一樣的,最終一定要走向存算分離。

在存算分離領域裡面,華為雲已經積累優勢,從最早的去中心化的分散式儲存引擎FusionStorage開始,七年磨一劍,我們從內部驗證到向外部的推廣,從塊儲存延伸到物件儲存、檔案儲存、分散式的叢集資料庫,把原先在開源架構裡五花八門的底層儲存技術引擎架構實現了統一。經過實際的測試,在業界同樣支援存算分離資料湖架構的雲場景中,華為雲體現了領先30-60%以上的效能優勢。

再就是資料治理自動化。 現在的資料治理的還是人力密集型工作,整個過程非常低效,很難滿足很多行業的要求。所以在這個架構模式裡面,除了存算分離的資料庫,還要構建資料治理自動化。

透過引入AI的技術,將資料的獲取、清洗以及最終資料知識的提取,主題庫的建立、資料目錄的釋出,都實現完全的自動化。使用者只需要指定入湖的資料來源和所屬業務主題域,系統自動化建立入湖任務,底層資源根據入湖資料量自動擴縮容,智慧完成入湖資料的安全等級、分級分類、隱私等級等資料標籤的自動識別打標。這個能力對企業資料資產的快速沉澱能力的構建是至關重要的。

可信、平民化DevOps

透過將一系列安全可信措施嵌入到敏捷開發運維模式, 構建所謂的DevSecOps流水線,實現敏捷快速迭代與嚴格質量管控兼顧;並透過低程式碼/無程式碼實現更多行業應用資產的沉澱, 將行業應用的開發效率再上一個新臺階。

Devops實現了應用的敏捷開發,但在面向政企時,還需要滿足應用質量和安全可信的要求。因此在遵循DevOps的同時,將安全能力整合到其中,升級成為DevSecOps。使用安全左移、預設安全、執行時安全、安全服務自動化/自助化、基礎設施即程式碼(IaC)等技術, 實現管理與協同、設計與開發、CI/CD、應用管理、運維、安全可信等各個環節的一體化趨勢。

此外,由於傳統政企開發投入有限,需要透過低碼化無碼化,來實現對應用進行快速構建及改造。華為雲低程式碼平臺AppCube可支援多種頁面型別和豐富的元件能力,基於它的服務能力編排和業務流程無程式碼定製,可實現靈活流程觸發方式、多種許可權配置方式、自定義業務編排等。

基於軟體匯流排的異構整合

即幫助企業構建可平滑演進的IT架構, 實現老舊應用與新建雲原生應用,線上與線下應用的平滑融合整合。

雲原生下,企業很多應用都要進行微服務解耦,遵從微服務的治理架構,進行水平擴充套件的架構的設計,甚至把原來的單體架構逐步進行拆解。但這個過程不是一蹴而就的,尤其是那些包袱比較重的傳統行業,他們還面臨很多現實的挑戰。所以我們要在企業傳統IT架構和雲原生架構之間搭建無縫的橋樑,在確保企業業務連續性最大化的前提下,實現平滑的切換和演進。

以Roma Connect為例,它可以透過軟匯流排的形式,把雲原生和非雲原生的傳統世界無縫的連線起來,支援異構的應用和資料庫源的對接,也可以對接到雲上開發平臺、資料湖,實現無縫互通。

在架構的平滑演進中,首先需要將傳統非雲原生應用封裝為REST介面與雲原生應用對接,透過統一介面服務層APIC進行開放,業務雲原生應用透過標準介面即可獲取老系統資訊。同樣的機制可以將線上線下,及部署在多雲環境上企業IT系統的無縫互通。

其次傳統Oracle/Sybase等傳統資料庫及中介軟體與裝置協議接入上雲:雲上雲原生應用透過雲上標準API呼叫、資料庫訪問、訊息訂閱等方式即可獲取傳統資料。

最後,透過全生命週期的API管理能力,包含從設計、釋出、上架、治理的全過程,幫助企業構建整個跨地域,跨組織、跨部門的應用網路,並沉澱行業應用資產。

多模態可迭代的AI模型

AI在行業落地面臨的問題是能夠獲取到的訓練資料是非常有限的,單純的依賴資料驅動的深度學習訓練,使得行業AI模型是非常難以泛化、通用化。

預訓練大模型是解決AI應用開發定製化和碎片化的重要方法。 透過一個AI大模型實現在眾多場景通用、泛化和規模化複製,減少對資料標註的依賴,賦能AI開發由作坊式轉變為工業化開發,比如華為雲之前推出的盤古大模型。

另外也要引入知識計算的能力, 類似於把知識圖譜這樣的能力和基於感知計算的資料驅動的AI模型互補結合起來。也就是說把知識模型和資料模型,在資料樣本相對缺少的情況下結合在一起,更好服務於行業AI的落地。幫助企業打造自己的知識計算平臺,整合分散在不同系統、多種形態的企業資料,形成帶有建議性的知識體系。

全方位的立體式雲安全

1.0階段的雲安全服務更多的是孤立的安全能力:虛擬化安全,hyporvisor防逃逸能力,雲防火牆能力其實都是割裂的,並沒有跟所有的雲服務形成互鎖。

全方位的立體式運營安全透過打通離散的雲安全服務能力,將其與其他雲服務及客戶應用形式互鎖, 構建安全Build-in的雲原生應用,以及引入可信智慧計算,解決跨行業資料隱私保護與流通碰撞、價值挖掘之間的矛盾。

首先透過可信智慧計算提供四個核心能力,進行安全可信的資料計算。包括:

  1. 跨組織、跨行業的多方資料融合分析和多方橫向與縱向聯邦學習建模;
  2. 支援對接主流資料來源和深度學習框架;
  3. 支援安全多方計算(例如同態加密,差分隱私等),並支援使用者自定義隱私策略;
  4. 基於區塊鏈的資料計算軌跡的可追溯可審計。

此外,為了全方位安全,還需要將全棧雲(及其子集)下沉部署(連線/非連線),徹底解決敏感行業上雲安全顧慮,以及將全棧雲服務、企業新開發雲原生應用、aPaaS/SaaS等與全棧雲安全能力互鎖,為使用者構建體系化的雲安全平臺。

關注@華為雲,瞭解更多資訊

分類: 教育
時間: 2021-12-14

相關文章

2021海淀六小強,西城四金剛中招問答彙總,你關心的問題都在這裡

2021海淀六小強,西城四金剛中招問答彙總,你關心的問題都在這裡
北京高考權威指導專家姚立超老師參加清華大學110年校慶 導語海淀六小強.西城四金剛是學生非常關注的學校,姚立超彙總整理了2021海淀六小強.西城四金剛中招問答,包含:住宿.入學測試.實驗班等資訊,一起 ...

致高中家長:歷屆高考中的8大失誤彙總

致高中家長:歷屆高考中的8大失誤彙總
每一年的高考中,都有一些學生因為大意和經驗不足等非智力因素,丟掉了本不該丟掉的分數.雖然一分看似不起眼,但在失之毫釐,差之千里的高考裡,可能甩開的就是你和近千人的距離. 讀錯題.算錯數.塗錯卡.漏掉題 ...

神複製!河北“雙胞胎姐妹花”:高考僅差3分,考入同一所985,住同一棟宿舍樓

神複製!河北“雙胞胎姐妹花”:高考僅差3分,考入同一所985,住同一棟宿舍樓
剛剛過去的9月8日,是大連理工大學2021級本科新生報到的日子,來自全國各地的六千多位學子即將在大連這座美麗的海濱城市,點亮自己憧憬已久的求學之旅.在今年前來報到的新生之中,有這樣一對"特別 ...

高考中“取消”一門學科投票,英語位列第2,數學和化學都有入選

高考中“取消”一門學科投票,英語位列第2,數學和化學都有入選
文/艾小貝愛教育 高考中是需要考多個不同學科的,出現了不同的聲音. 對於學生而言,最重要的肯定就是學習了,在各大不同的考試中,都是以學生的學習成績高低情況來進行排名的. 在高考這一重要考試中,也是以學 ...

新高考下最佳“賦分”組合,學起來簡單容易拿分,高三生需瞭解

新高考下最佳“賦分”組合,學起來簡單容易拿分,高三生需瞭解
以前高考需要考的是語數外,加上文綜或理綜.隨著新高考模式的出現,學生需要考的科目出現一些變化,不再是固定文綜或理綜,可以自己選擇考試科目. 這對考生來說既是一種機遇也是一種挑戰,如果沒有選好科目組合, ...

重返NBA,10投8中砍18分!前火箭首輪秀浪子回頭,曾跟哈登鬧矛盾

重返NBA,10投8中砍18分!前火箭首輪秀浪子回頭,曾跟哈登鬧矛盾
北京時間10月13日,奇才和猛龍的比賽,猛龍贏球,沒有太大懸念,猛龍壓制了對手.今天的比賽,猛龍隊今年的新援,35歲老將德拉季奇完成了猛龍首秀,9投5中,三分球5投4中,拿下了16分,表現不錯.替補的 ...

婚前房產如何劃分?大致分這三種情況

婚前房產如何劃分?大致分這三種情況
01 前言 買房非小事,一大筆房款的支出,往往牽涉到兩個人甚至多個人的"錢袋"和利益. 婚前單方支付首付,但產權登記在另一人名下,房產如何劃分? 婚前全款買房,婚後加了另一人名字, ...

國考中容易拿分的必考題,你不想了解一下嗎?
2022年國考預計在今年十一月份開考,準備抓住這次機會成為一名公務員的你準備好了嗎?據圖圖瞭解,有很多小夥伴省考結束就進入到備戰國考的狀態,還沒開始準備的夥伴們,時間緊迫,真的要開始拼搏啦. 圖圖最近 ...

萬字長文解讀!吉林省高考綜合改革方案落地,你想知道的都在這

萬字長文解讀!吉林省高考綜合改革方案落地,你想知道的都在這
一.總體情況 1.國家實施高考綜合改革的背景和意義? 考試招生制度是國家基本教育制度,為學生成長.國家選才.社會公平作出了歷史性貢獻,成功走出了一條具有中國特色.基本符合中國國情的人才選拔道路.這一制 ...

9位被中視協認可的“德藝雙馨”明星,個個都是演技派,最小37歲

9位被中視協認可的“德藝雙馨”明星,個個都是演技派,最小37歲
流量藝人的紛紛"塌房"讓明星們集體失去了公信力,現如今追星也成了一個值得思考的問題,而最近中視協演工委向廣大演員群體發出了倡議,影片中出鏡了9位成員,個個都是德藝雙馨的明星藝人,老 ...

新高考3+1+2模式,哪種科目組合最受歡迎?高中生如何選科?

新高考3+1+2模式,哪種科目組合最受歡迎?高中生如何選科?
導語:新高考3+1+2模式,最受高中生歡迎的科目組合,是你選的科目組合嗎? 很多人都清楚,我國傳統的高考模式是文理分科模式.高中生只有兩種選擇,要麼文科.要麼理科.因為文理分科高中生選擇性小,限制了自 ...

當前熱播的三部低分爛劇,要是一部都沒看,那就太幸運了

當前熱播的三部低分爛劇,要是一部都沒看,那就太幸運了
前言:以前的爛片爛得百花齊放,現在的爛片爛得千部如一 近期,在<你是我的榮耀><理想之城><周生如故>等多部良心劇先後完結之際,觀眾們又陸續迎來了不少新劇的熱播,在 ...

什麼是格律詩的“三仄尾”和“三平尾”,兩者都一定要避免嗎?

什麼是格律詩的“三仄尾”和“三平尾”,兩者都一定要避免嗎?
格律詩中,某詩句若最後三個字均是仄音,比如"獨靜坐"(平水韻),此句就犯了"三仄尾".同樣,若格律詩的某句末三字都是平音,如"殘紅多",則此 ...

五角紙幣的三個版本你都瞭解了麼?最高價值達400左右了
五角紙幣,相信大家在日常生活當中都是會用到過的,現在市面上流通的是第四套人民幣的五角紙幣,第三套人民幣的五角紙幣你有見過麼?那麼第三套人民幣五角紙幣到底有多少個版本?每個版本都會有什麼特徵呢?今天華華 ...

河北省再現“高考烏龍”,581分報考原三本院校,實在太可惜了
2021年高考,有位同學考了581分的成績,這個成績在整個河北省算不上什麼高分,但成績也算是可以的,畢竟600分以上的考生人數不是太多,這位考生的位次是比較靠前,即便咱們河北省高考競爭十分激烈,但以5 ...

轟44+9記三分,熱火水花大爆發!火箭雙少空砍32分,豪斯7中0拉胯

轟44+9記三分,熱火水花大爆發!火箭雙少空砍32分,豪斯7中0拉胯
繼季前賽首戰大勝老鷹,取得開門紅後,馬不停蹄的邁阿密熱火隊此役又奔赴休斯頓,挑戰實力不容小覷的青年軍火箭隊. 熱火隊方面,巴特勒此役迎來複出,主教練斯波爾斯特拉也順勢擺出了阿德巴約+PJ·塔克+鄧肯· ...

十二星座中,有強迫症的三星座,他們追求完美,活得最累

十二星座中,有強迫症的三星座,他們追求完美,活得最累
文/葉子 有些人做任何事情都追求完美,他們似乎有著強迫症.在生活中,他們不能容忍任何瑕疵,就算自己在工作時,電腦桌面一定要一塵不染:他們的手機必須保持滿電,不然就會沒有安全感:出門之後,他們反覆檢查門 ...

大盤金針探底,國慶節前或將大幅拉昇的三個板塊
中秋節前的最後一個交易日,大盤迎來了短線調整的最後一跌,大盤一度下探到3569點,此後不斷震盪走高,大盤最終收在3613點,一口氣拉了44個點,收回了所有的跌幅,並讓大盤飄紅.大盤從週二到週五,連跌了 ...

盤點王者峽谷中適合上分的幾位英雄

盤點王者峽谷中適合上分的幾位英雄
賽季的熱門英雄總是有那麼幾位,其實熱度高的英雄不一定強勢,冷門的英雄也不一定弱勢,下面盤點幾位英雄. 第一位廉頗: 廉頗這個英雄雖然定位坦克,但是他可以勝任多個位置,並且可以打出很優秀的戰績,進去戰鬥 ...

西遊記中,金平府的三頭犀牛精結局為何這麼慘?原來他們是臥底

西遊記中,金平府的三頭犀牛精結局為何這麼慘?原來他們是臥底
如果要提到西遊記中,結局最慘的妖怪是哪幾位的話,很多人都會說是在金平府,孫悟空與唐僧遇見的那三頭犀牛精.三頭犀牛精的結局非常慘.他們被扒皮抽筋,打入地獄,永不得超生.那麼這三頭犀牛精的結局為何會這麼慘 ...