2022年我國數(shù)字經(jīng)濟規(guī)模首次突破至50.2萬億元，占GDP比重達到41.5%，當(dāng)下，推進數(shù)字經(jīng)濟和實體經(jīng)濟深度融合，已成為我國產(chǎn)業(yè)基礎(chǔ)高級化與產(chǎn)業(yè)鏈現(xiàn)代化的重要途徑。通過做活大數(shù)據(jù)，激活數(shù)據(jù)要素價值，加快業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化，深化大數(shù)據(jù)應(yīng)用創(chuàng)新勢在必行。
以運營商行業(yè)網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)應(yīng)用為例，通過智能分析和挖掘用戶使用業(yè)務(wù)感知、設(shè)備信息、網(wǎng)絡(luò)質(zhì)量等海量數(shù)據(jù)，提煉價值信息和規(guī)律性模式，不僅有助提升運營商的服務(wù)質(zhì)量、商業(yè)決策、安全防護效果，也可以為政務(wù)、金融、新零售等多個行業(yè)提供高價值大數(shù)據(jù)產(chǎn)品，為行業(yè)數(shù)字化轉(zhuǎn)型賦能。
攜手鯤鵬，夯實數(shù)字基座
中國聯(lián)通智網(wǎng)創(chuàng)新中心緊密圍繞集團全面數(shù)字化轉(zhuǎn)型要求，以“強基固本、守正創(chuàng)新、融合開放”的新戰(zhàn)略為指導(dǎo)，持續(xù)探索大數(shù)據(jù)技術(shù)創(chuàng)新和應(yīng)用。
在海量數(shù)據(jù)加工領(lǐng)域，為避免核心技術(shù)“卡脖子”成為制約創(chuàng)新發(fā)展的阻力，智網(wǎng)創(chuàng)新中心大數(shù)據(jù)團隊堅持沉淀創(chuàng)新研發(fā)技術(shù)，近日，成功開發(fā)了國內(nèi)首個全棧自主創(chuàng)新大數(shù)據(jù)解決方案，該方案基于鯤鵬構(gòu)建算力平臺，提供10萬個計算核心，軟件層基于開源Flink+Hadoop自研，具備獨立自主、開源開放、存算分離、批流一體的優(yōu)勢。方案通過將領(lǐng)先的大數(shù)據(jù)技術(shù)和豐富的最佳實踐相結(jié)合，提供了多項核心功能：
l 構(gòu)建模塊化、分層化、工程化DPI數(shù)據(jù)加工軟件框架，支持數(shù)據(jù)實時計算和入庫(上億QPS)；
l 構(gòu)建DPI數(shù)據(jù)的分層公共數(shù)據(jù)模型，通過數(shù)據(jù)服務(wù)化的方式支撐前端數(shù)據(jù)應(yīng)用，支持數(shù)據(jù)的復(fù)用和共享；
l 提供全鏈路的數(shù)據(jù)質(zhì)量稽核監(jiān)控，支持數(shù)據(jù)一致性、完整性、正確性和及時性的監(jiān)控，第一時間問題“早發(fā)現(xiàn)，早恢復(fù)”；
l 提供多樣化數(shù)據(jù)應(yīng)用產(chǎn)品，支持用戶級感知詳單實時輸出和全國重點區(qū)域網(wǎng)絡(luò)質(zhì)量和感知質(zhì)量準實時流式輸出。
方案實現(xiàn)了對網(wǎng)絡(luò)全域數(shù)據(jù)的集中采集、存儲、加工、分析，面向全國一點提供網(wǎng)絡(luò)數(shù)據(jù)服務(wù)，構(gòu)筑起聯(lián)通網(wǎng)絡(luò)創(chuàng)新與數(shù)字化運營轉(zhuǎn)型的堅實基座，并進一步激發(fā)大數(shù)據(jù)在更多行業(yè)應(yīng)用的巨大潛力。
強基固本，深化融合創(chuàng)新
智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案在行業(yè)中已形成了一定的先發(fā)優(yōu)勢，持續(xù)構(gòu)建自主、可靠、領(lǐng)先的大數(shù)據(jù)技術(shù)能力是根本。
全棧、全流程獨立自主：鯤鵬硬件和大數(shù)據(jù)核心軟件自主創(chuàng)新，可持續(xù)演進；核心人員編排全自有；從方案設(shè)計到生產(chǎn)上線全獨立自主部署
超大規(guī)模集群：共計部署1100臺鯤鵬服務(wù)器，配置存儲容量100 PB，內(nèi)存容量600 TB，以及10萬CPU，具備處理海量數(shù)據(jù)和高并發(fā)計算方面的強大能力，并采用了多層次的故障切換和備份機制，保證系統(tǒng)的高可靠性
核心軟件性能大幅提升： Flink采用“預(yù)加載維表關(guān)聯(lián)”優(yōu)化方法，維表對象總內(nèi)存占用降低90%，算子對外部數(shù)據(jù)庫的查詢連接數(shù)減少90%；自主研發(fā)批量文件數(shù)據(jù)源接入方法，數(shù)據(jù)源接入時延減少50%，降低文件系統(tǒng)壓力，增強系統(tǒng)魯棒性；基于小文件優(yōu)化策略創(chuàng)新，文件數(shù)量減少80%，大大降低NameNode壓力，提升HDFS性能，增大數(shù)據(jù)保存周期等。
聯(lián)合創(chuàng)新實現(xiàn)性能超越：智網(wǎng)中心聯(lián)合華為基于鯤鵬大數(shù)據(jù)OmniRuntime套件算子下推、算子加速等新特性，在鯤鵬大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)查詢效率相比現(xiàn)有平臺提升53%。
數(shù)據(jù)賦能，創(chuàng)新場景應(yīng)用
當(dāng)前，智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案已廣泛應(yīng)用，為疫情防控、抗震救災(zāi)、應(yīng)急救援、防汛搶險、司法矯正、反欺詐等場景，供給高質(zhì)量數(shù)據(jù)能力，支撐國家部委及政府工作，履行央企責(zé)任。為智慧信息、數(shù)睿廣告等多個公司行業(yè)大數(shù)據(jù)產(chǎn)品提供高品質(zhì)核心數(shù)據(jù)，不斷為聯(lián)通帶來新的業(yè)務(wù)增長點。應(yīng)用于集團內(nèi)部，賦能中國聯(lián)通網(wǎng)絡(luò)精準建設(shè)、精準優(yōu)化、智慧客服、端網(wǎng)業(yè)協(xié)同等數(shù)字化轉(zhuǎn)型工作，實現(xiàn)降本增效。
未來，中國聯(lián)通智網(wǎng)創(chuàng)新中心將持續(xù)瞄準大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等技術(shù)前沿，基于鯤鵬研發(fā)網(wǎng)絡(luò)創(chuàng)新產(chǎn)品、賦能網(wǎng)絡(luò)運營轉(zhuǎn)型、催化網(wǎng)絡(luò)能力增值，打造全球領(lǐng)先的技術(shù)研發(fā)與服務(wù)平臺，面向全聯(lián)通、面向全行業(yè)提供互聯(lián)網(wǎng)及信息服務(wù)，提升產(chǎn)業(yè)供給能力和行業(yè)賦能效應(yīng)，助力數(shù)字經(jīng)濟高質(zhì)量發(fā)展。
