12月27日,阿里云正式發(fā)布云原生開源大數(shù)據(jù)平臺(tái)EMR 2.0，升級(jí)后的開源大數(shù)據(jù)平臺(tái)在成本持平的情況下，擴(kuò)縮容性能最高可提升6倍。
據(jù)悉，阿里云EMR2.0為用戶提供了全新的平臺(tái)、開發(fā)、資源形態(tài)、分析場(chǎng)景等更優(yōu)的產(chǎn)品體驗(yàn)，通過EMR Doctor健康檢查、全面的服務(wù)巡檢和事件通知、節(jié)點(diǎn)故障補(bǔ)償?shù)冗\(yùn)維能力的升級(jí)，預(yù)估運(yùn)維成本可降低20%-30%。新平臺(tái)致力于為客戶快速構(gòu)建高性價(jià)比、安全可靠、兼容生態(tài)的開源大數(shù)據(jù)平臺(tái)。
EMR2.0與EMR1.0彈性擴(kuò)容速度對(duì)比
云原生趨勢(shì)下，開源大數(shù)據(jù)處于重構(gòu)之中，以 Hadoop 為核心的開源大數(shù)據(jù)體系，開始轉(zhuǎn)變?yōu)槎嘣夹g(shù)并行發(fā)展。阿里云EMR產(chǎn)品負(fù)責(zé)人何源介紹， 阿里云EMR于2009年開始服務(wù)阿里巴巴集團(tuán)內(nèi)部客戶，2016年將過往的技術(shù)能力產(chǎn)品化開放，為客戶提供商業(yè)化服務(wù)。作為開源大數(shù)據(jù)領(lǐng)域的引領(lǐng)產(chǎn)品，EMR 2.0通過云原生能力重構(gòu)平臺(tái)層、數(shù)據(jù)層、計(jì)算層，滿足數(shù)千客戶流處理、數(shù)據(jù)可視化、交互式分析、數(shù)據(jù)湖等多場(chǎng)景需求，重新定義了新一代開源大數(shù)據(jù)平臺(tái)。為客戶構(gòu)建新一代開源大數(shù)據(jù)基礎(chǔ)設(shè)施。
EMR 2.0產(chǎn)品架構(gòu)圖
客戶基于EMR2.0平臺(tái)可實(shí)現(xiàn)更加低成本、高效率、智能化的大數(shù)據(jù)集群管控和應(yīng)用開發(fā)。通過使用搶占式實(shí)例，生產(chǎn)實(shí)證最多可降低百分之八十以上的成本。開啟故障實(shí)例自動(dòng)補(bǔ)償，在全場(chǎng)景集群下，穩(wěn)定性可以提高1個(gè)9。全新發(fā)布的EMR Doctor，通過健康檢查服務(wù)的集群日?qǐng)?bào)功能，查看集群是否存在資源浪費(fèi)；通過任務(wù)評(píng)分倒排Top N，找到資源浪費(fèi)最多的作業(yè)進(jìn)行優(yōu)化；通過持續(xù)優(yōu)化，幫助客戶最大化利用資源，避免浪費(fèi)。同時(shí)，還可以幫助客戶提前發(fā)現(xiàn)一些風(fēng)險(xiǎn)并進(jìn)行處理。EMR Studio，提供Notebook和Workflow服務(wù)。全托管Notebook，兼容 用戶Jupyter使用習(xí)慣，可以無縫對(duì)接EMR各計(jì)算、存儲(chǔ)引擎，進(jìn)行交互式的大數(shù)據(jù)開發(fā)和調(diào)試，已經(jīng)開發(fā)和調(diào)試完的作業(yè)可以加入Workflow工作流里進(jìn)行調(diào)度和上線。此外EMR Studio的Workflow服務(wù)也還支持Flink等的作業(yè)。
2022年6月，阿里云EMR聯(lián)合 OSS、 DLF、DataWorks等構(gòu)建的云原生數(shù)據(jù)湖產(chǎn)品方案通過信通院評(píng)測(cè)認(rèn)證，是國(guó)內(nèi)首批且唯一滿分的產(chǎn)品方案，該方案為用戶提供“全托管湖存儲(chǔ)、全面湖加速、統(tǒng)一湖管理、多模態(tài)湖計(jì)算和智能湖治理”等全面數(shù)據(jù)湖能力。（國(guó)內(nèi)首批！阿里云云原生數(shù)據(jù)湖產(chǎn)品通過信通院評(píng)測(cè)認(rèn)證）
國(guó)內(nèi)知名廣告營(yíng)銷服務(wù)商匯量科技已使用EMR產(chǎn)品4年。在業(yè)務(wù)快速增長(zhǎng)的大好形勢(shì)下，匯量科技面臨越來越多的困擾：如數(shù)據(jù)來源復(fù)雜、數(shù)據(jù)量大、數(shù)據(jù)維度多、實(shí)時(shí)運(yùn)營(yíng)業(yè)務(wù)秒級(jí)數(shù)據(jù)新鮮度需求等業(yè)務(wù)需求；本次升級(jí)后，匯量科技在素材平臺(tái)、熱力引擎等業(yè)務(wù)的大數(shù)據(jù)平臺(tái)搭建上，數(shù)據(jù)同步和及查詢效率有數(shù)倍提升，系統(tǒng)穩(wěn)定性顯著提升，未再出現(xiàn)之前cpu、mem、io負(fù)載高等情況。
隨著阿里云EMR2.0的發(fā)布，阿里云EMR將技術(shù)引領(lǐng)優(yōu)勢(shì)，轉(zhuǎn)化為云上產(chǎn)品服務(wù)能力。重新定義的新一代 EMR 產(chǎn)品，將為各行業(yè)廣大客戶構(gòu)建開源大數(shù)據(jù)平臺(tái)提供最扎實(shí)的基座保障。
