从消息到数据湖:看 Apache RocketMQ、Hudi、Kyuubi 最新进展
上海的開發者小伙伴們,12 月 18 號,Apache RocketMQ & Apache Hudi & Apache Kyuubi (Incubating)三社區 Meetup 來了,打造最強消息傳輸、實時計算、數據入湖一體化解決方案專場。
本場活動聚焦 Apache RocketMQ 及 Hudi,Kyuubi 數據湖結合,幫助開發者能更好地應對業務挑戰。活動將邀請喜馬拉雅、平安證券、網易、阿里云的眾多技術專家,共同為大家分享 Apache RocketMQ with hudi & Kyuubi 實踐與應用。
相關項目介紹
Apache RocketMQ
Apache RocketMQ 是由阿里巴巴開源的消息產品,歷經多年雙十一流量洪峰嚴苛考驗,具有低延遲、高性能、高可靠性、萬億級容量和靈活的可擴展性。目前,全球超過上萬家企業都在使用 Apache RocketMQ,不僅包括字節、快手、小米、滴滴、同城藝龍等來自互聯網的頭部企業,也包括來自于頭部銀行、券商、保險,基金等一系列要求極為嚴苛的金融公司。
Apache RocketMQ 經過過去幾年的發展,已經成為微服務領域業務消息的首選,伴隨著云原生時代的到來以及實時計算的興起, 生于云、長于云的 Apache RocketMQ 5.0 應運而生,全新升級為云原生消息、事件、流融合處理平臺,幫助用戶更容易地構建下一代事件驅動和流處理應用。
Github 地址:
https://github.com/apache/rocketmq
Apache Hudi
Apache Hudi 是 Apache 軟件基金會頂級項目,是新一代的流式數據湖平臺,支持數據插入、更新、刪除和增量數據處理;可助力構建高效的企業級數據湖。
GitHub 地址:
http://github.com/apache/hudi
Apache Kyuubi(Incubating)
Apache Kyuubi (Incubating)是一個 Thrift JDBC/ODBC 服務,目前對接了 Apache Spark 計算框架,支持多租戶和分布式等特性,可以滿足企業內諸如 ETL、BI 報表等多種大數據場景的應用。Kyuubi 可以為企業級數據湖探索提供標準化的接口,賦予用戶調動整個數據湖生態的數據的能力,使得用戶能夠像處理普通數據一樣處理大數據。項目已于 2021 年 6 月 21 號正式進入 Apache 孵化器。從社區當前階段的發展目標來看,它的主要方向是依托本身的架構設計,圍繞各類主流計算框架,打造一個面向 Serverless SQL on Lakehouse 的服務。Apache Kyuubi (Incubating)是一個 Thrift JDBC/ODBC 服務,目前對接了 Apache Spark 計算框架,支持多租戶和分布式等特性,可以滿足企業內諸如 ETL、BI 報表等多種大數據場景的應用。Kyuubi 可以為企業級數據湖探索提供標準化的接口,賦予用戶調動整個數據湖生態的數據的能力,使得用戶能夠像處理普通數據一樣處理大數據。項目已于 2021 年 6 月 21 號正式進入 Apache 孵化器。從社區當前階段的發展目標來看,它的主要方向是依托本身的架構設計,圍繞各類主流計算框架,打造一個面向 Serverless SQL on Lakehouse 的服務。
Github 地址:
https://github.com/apache/incubator-kyuubi
立即點擊此處參與活動吧!
了解更多相關信息,請掃描下方二維碼或搜索微信號(AlibabaCloud888)添加云原生小助手!獲取更多相關資訊!
總結
以上是生活随笔為你收集整理的从消息到数据湖:看 Apache RocketMQ、Hudi、Kyuubi 最新进展的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: KubeMeet 深圳站完整议题出炉 快
- 下一篇: 阿里云 EventBridge 事件驱动