近日,以「Data+AI,構建新質生產力」為主題的袋鼠雲春季釋出會圓滿落幕,大會帶來了一系列「+AI」的數位化產品與最新行業沈澱,旨在將數據與AI緊密結合,打破傳統的生產力邊界,賦能企業實作更高品質、更高效率的數位化發展。會上,袋鼠雲數棧產品負責人偷天帶來了融合AI能力的數棧V6.2的全新釋出,這不僅僅是一個簡單的產品的升級,更代表著袋鼠雲對未來的一次大膽預見。
一、數棧 V6.2 :數據價值最大化
數據驅動時代,數據已經成為了企業的生命線。如何高效地管理和利用這些數據,是每個企業都在探索的問題。數棧V6.2的釋出,正是為了解決這一挑戰,幫助企業在數據的海洋中乘風破浪。
全新釋出的數棧V6.2,其核心理念是Data+AI,新版本不僅提供了大數據平台的基礎功能,更透過與AI技術的深度融合,為企業提供數據智慧分析與套用。這意味著企業可以透過數棧平台,實作行業內容體系的整合、靈活便捷的數據洞察、極速分析引擎的計算以及數據安全的全方位管控。除此之外袋鼠雲產品解決方案還覆蓋了輕量化、數據治理、信創等多個方面。這一切的設計,都是為了幫助企業最佳化計算儲存成本、提升數據品質、推動標準規範,最終實作數據價值的最大化。
1、輕量化數據中台解決方案,數據處理更高效
透過引入高效的計算引擎Doris和StarRocks,實作了對平台效能的革命性重構。這一創新舉措不僅大幅提升數據處理速度、降低儲存成本和運維成本,還最佳化了查詢效率,為企業帶來了前所未有的數據操作體驗。
Doris和StarRocks的即席查詢能力和高效能分析處理能力共同構建了一個強大而靈活的數據處理平台。使用者可以輕松應對海量數據的實分時析需求,實作數據的即時洞察和決策支持。在這一過程中,數據的準確性和可靠性得到了充分保障,為企業的故障預測、精準行銷和工藝最佳化等關鍵業務提供了堅實的數據支撐。
2、全方位數據治理體系,實作企業價值最大化
在數棧V6.2中,我們對數據治理進行了全面的升級和重新定義,以滿足企業在數據管理方面的日益增長的需求。數據治理中心的五大維度:儲存、計算、品質、規範和價值,構成了一個全方位的數據治理體系,確保企業數據的完整性、準確性和可用性。
治理工作台提供了一個直觀的操作界面,使得數據治理任務的發起、記錄、指派和處理變得簡單高效。透過這個平台,企業可以實作從個人視角、計畫視角到全景視角的數據治理情況展示,從而確保每個環節的數據品質都得到有效監控和管理。程式碼檢查功能透過SQL檢查規則規範SQL程式碼,提前預防可能引入的治理問題。而小檔治理則針對Hadoop集群中的小檔問題,透過一次性或定期合並,最佳化集群效能和擴充套件性,提升數據處理效率。
數棧V6.2的數據治理不僅僅是技術的升級,更是對企業數據文化的一種塑造。透過這樣的治理體系,企業能夠建立起一套完善的數據治理框架,推動數據標準化、規範化,最終實作數據資產價值的最大化。
3、全鏈路信創適配,支持全面國產化
在這個資訊化和信創並重的時代,我們深知企業對於數據安全和自主可控的需求。因此我們的平台不僅在伺服器、作業系統、芯片、中介軟體、元資料庫、計算引擎等方面實作了全鏈路的信創覆蓋,更是在私有化部署和全流程安全防護上做了深度適配。這是我們對國家安全戰略的堅定支持,也是我們對企業社會責任的積極履行。
4、創新突破Paimon數據湖能力,實作批流一體的數據處理模式
在傳統的數據處理模式中,企業往往面臨著開發和維護兩套程式碼邏輯的困境:一套用於批次處理,另一套用於即時流處理。這不僅意味著雙倍的開發和維護工作量,還需要處理兩者之間的數據合並邏輯,確保兩套系統同步上線。這樣的模式,不僅增加了資源的消耗,還可能導致數據的二義性問題,使得數據的準確性難以保障,業務人員對數據結果的信任度下降。
數棧創新突破透過Paimon數據湖的能力,實作了批流一體的數據處理模式,有效解決了上述問題。平台提供了即時湖表開發和即席查詢功能,使得數據開發人員可以在單一平台上同時處理即時和批次數據,無需額外的資源投入和復雜的數據同步過程。這樣的一體化解決方案,不僅降低了計算和儲存資源的占用,還確保了數據的一致性和準確性,從而提高了業務人員對數據分析結果的認可度。這一創新將為企業的數位化轉型和智慧化升級提供強有力的支持。
5、EasyMR四大功能深度最佳化,解鎖全新大數據處理和計算體驗
EasyMR作為數棧中的一個重要產品模組,代表了我們對大數據生態的深入理解和持續創新。它基於開源Hadoop並與開源社群同步叠代,由我們計算引擎團隊獨立自主研發,對Spark、Flink、Paimon等核心元件進行了特性最佳化和增強。這些最佳化不僅提升了數據處理的效能和穩定性,還回饋了社群,促進了Hadoop生態的共建。
EasyMR的能力提升體現在多個方面:它支持Flink任務的熱更新,確保了業務的連續性和靈活性;Spark的Z-Order索引最佳化和物化檢視支持,提高了數據處理的效率和響應速度;而Flink的Session類載入隔離,則保障了執行環境的安全性和可靠性。此外,EasyMR的自動化遷移功能,使得大規模數據集群的遷移變得輕松簡單,即時監控遷移過程中的狀態,確保數據的安全可靠。透過這些創新和最佳化,EasyMR為使用者提供了一個高效、智慧、易維護的大數據平台,助力企業在數據管理和分析方面實作質的飛躍。
二、 Data+AI 能力,讓數據開發更智慧
AI技術已經成為推動企業創新和效率提升的核心動力。透過融合生成式AI技術,數棧V6.2已經實作了智慧開發、智慧調優、智慧診斷、智慧檢索、智慧分析、智慧校驗等六大功能,極大地提升了數據處理的效率和品質。
智慧調優能夠自動最佳化SQL程式碼,提高執行效能;智慧診斷則利用AI解析日誌,快速定位問題並提供專業的最佳化建議;智慧分析幫助深入理解數據趨勢,為決策提供有力支持。這些功能不僅提升了開發效率,還確保了程式碼品質,能夠以數據驅動的方式,更加精準地實作業務目標。AI+的引入,標誌著我們正步入一個更加智慧、高效的數據管理新時代。
AI + 智慧調優功能,能夠在開發者在編輯器中編寫程式碼時提供智慧最佳化建議,讓數據開發同學進行審閱對比。從而提升編碼效率和程式碼品質,使得數據開發同學更加聚焦在業務邏輯的實作上。
AI + 智慧診斷功能,利用AI技術對Spark SQL、Flink SQL等任務日誌進行智慧解析,辨識報錯資訊,提供專業的SQL最佳化建議,幫助快速定位問題根源,提升程式碼開發效率。
數棧透過與AI+的整合,不僅簡化了數據開發流程,還提高了數據處理的準確性和可靠性,為企業的數據驅動決策提供了堅實的技術支撐。
三、 產品 + 服務,數棧產品商業化策略全新升級
本次產品釋出會,我們重新定義了產品的商業化策略,旨在為不同需求的企業提供靈活多樣的服務方案。
產品系列包括標準版、專業版、旗艦版,並提供套用雲化部署選項,以滿足不同規模企業的數據處理需求。此外我們還提供信創適配和即時湖倉等增值服務,以及系統化運維服務的高級版和頂級版,確保客戶能夠享受到從基礎到高級的全方位支持。數棧產品商業化策略不僅關註產品的售賣,更註重服務的持續最佳化和升級。透過提供產品升級和版本升級兩條路徑,幫助企業確保數據平台的持續適應力和前瞻性。這樣的策略不僅增強了客戶的使用體驗,也為數棧產品的長期發展奠定了堅實的基礎。
四、 三大產品實踐案例,助力企業數位化轉型
1、某銀行:績效考核AI化落地
銀行基於沈澱的績效考核指標,結合企業自有的知識庫,利用AI智慧分析和數據處理能力,顯著提升了績效考核的管理效率和治理水平。
我們的解決方案幫助銀行實作了從指標報表到指標看板,再到指標對話式BI的轉變,大大降低了員工取數用數的成本,使得考核標準更加科學嚴謹,考核內容更加完整,確保了銀行整體業績與員工個人業績的緊密銜接。透過AI智慧歸因和智慧建議,銀行能夠即時追蹤員工績效結果,及時發現問題並進行調整,從而促進了員工與組織目標的一致性和績效的持續提升。這一轉變不僅最佳化了銀行的人力資源管理,也為整個組織帶來了更高的營運效率和業務成果。
2、某中國白酒品牌:輕量化數據中台
透過數棧該品牌建立了統一的行銷平台,幫助企業實作了數據共享、智慧標簽、指標管理等多維分析能力,為企業的精準行銷、工藝最佳化等提供了強有力的數據支持。
該平台透過采用輕量化的數據中台解決方案,結合StarRocks的高效能計算能力,使白酒企業能夠實作數據的高效管理和即分時析。StarRocks的低延遲查詢和快速數據載入特性,使得企業能夠快速響應市場變化,實作故障預測和精準行銷。這樣的輕量化數據中台解決方案,相較於傳統的Hadoop生態系,在數據體量不大的場景下,其優秀查詢效能、即時數據處理、高並行、易於維護等特點,使其成為實作快速數據分析的理想選擇,推動了白酒企業數位化轉型的步伐。
3、北京市屬國有集團公司:全鏈路信創
為解決企業數位化轉型以及信創要求等問題 , 此客戶建立了「全鏈路信創的大數據平台」。
該平台深度適配信創生態,實作了從伺服器、作業系統、芯片、套用元資料庫、中介軟體和計算引擎的全流程安全防護和私有化部署。透過這樣的全鏈路信創適配,集團不僅解決了數據孤島問題,還滿足了國家對信創的嚴格要求,確保了數據的安全性和可控性。這一舉措顯著提升了集團的數據治理能力,為企業的長遠發展奠定了堅實的數據基礎,同時也為其他國有企業提供了寶貴的信創實踐經驗。
以上就是數棧V6.2的釋出介紹,它不僅僅是一個產品,更是我們對大數據治理、智慧化分析的深刻理解和實踐總結。我們相信,透過數棧V6.2能夠幫助更多企業實作數據的價值最大化,推動企業的數位化轉型。