2019年技术盘点云数据库篇(一):UCloud专家谈云数据库:千锤百炼 云之重器
作者 | 劉丹
出品 | CSDN云計算(ID:CSDNcloud)
?
公有云逐漸成為企業運行 IT 設施的新趨勢,那么作為企業最核心的系統—數據庫,數據上云也成為大數據時代的必然選擇。對企業來說,數據可視為其命脈,因此數據遷移上云就意味著將企業“命脈”搬到云平臺。事實上,數據上云有兩種形式,數據庫直接上云或者選擇云數據庫,而云數據庫利用其云原生的優勢具備了許多過去數據庫產品不具備的優勢,包括可靠性、彈性、存儲容量以及成本等,正逐漸被更多的企業所接受。
隨著愈來愈多的企業用戶接受并選擇云數據庫,云數據庫產品不斷發展創新,并不斷滿足各行各業的業務需求。CSDN憑借自身技術社區的專業度、客觀性,為開發者梳理出關于云數據庫近年來的發展歷程,并賦能企業發展的新思路。為此,我們采訪了數家提供云數據庫平臺的云服務廠商,本期,我們的主角是UCloud。
千錘百煉終成器 云數據庫的演進與實踐
據Gartner報告預測,云數據庫市場份額將會在下一個五年中翻倍,為滿足各類應用和使用場景對云數據庫的需求, 數據庫的架構演進將是未來十年數據庫轉型的主要方向之一。談及云數據庫的發展,專注數據庫領域近十年的UCloud云數據庫負責人羅成對詳細道來自己的感受。
“數據庫仍然是重要的、核心的基礎軟件之一,不論是傳統商業數據庫模式還是如今的云數據庫模式,均為企業應用的基礎組件。”羅成對強調。云數據庫作為數據庫服務化的延伸,讓企業用戶擺脫了諸如昂貴的商業許可、繁重的運維工作、高門檻的系統架構設計等原有束縛。不過在云上,企業用戶對云數據庫的要求反而更高了。
“云數據庫正在大步向前的不斷演進,其背后的驅動力正是源于用戶漸進式的需求。起初是數據庫托管,現階段是面向使用或者業務場景的多樣化需求,未來將會是真正的零維護。”云數據庫的不斷演進,同時也對云服務商帶來了更多的考驗,例如對云數據庫模式的探索,對用戶深層次需求和痛點的思考,要求云服務商對云數據庫理念和愿景的堅持。這樣的持續性考驗更要求云數據庫廠商需要在技術上具備一定的前瞻性,且具有長期規劃和演進的生命力。
當然,穩定性、可靠性、安全性、高性能、高可用等依舊是衡量一款云數據庫的重要指標。硬件更新換代,新技術、新架構的落地,以及基礎設施的不斷演進,都可能是云數據庫的一次重構升級,突破原有設計約束,采用更優的解決方案滿足用戶需求。由此可見,一款云數據庫只有歷經多年運營、規模級企業用戶的磨礪,才能稱得上是一款合格的產品。而累計服務成千上萬家企業用戶,達到數以萬計的實例數規模,PB級以上的數據量,多樣化豐富的產品線,這無疑都是對云數據庫產品研發與運營、技術可靠性的一場綜合性考驗,面對巨大的挑戰,云廠商必將歷經千錘百煉助力云數據發展的使命。
傳統數據庫與云數據庫是馬車與汽車之別 云數據庫的持續價值不容小覷
2019年,Gartner在《在云上的數據庫管理系統的未來發展》的報告中,闡述了數據庫市場正在發生的變化。其中云服務商,AWS、Google、Alibaba憑借在各自云數據庫的優勢產品,在數據庫領域持續發力,市場份額逐漸增多,直接威脅到了傳統商業數據庫的地位。
而2019年UCloud針對平臺用戶的調研中發現,高達六成的企業積極擁抱云數據庫的,1/4的用戶處于觀望狀態,相信未來會嘗試云數據庫或者采用云數據庫和自建數據庫并存的混合模式。對此,羅成對表示,企業對于擁抱云數據庫的意愿是積極的,其在負責運營UCloud云數據庫時間中,深感云數據庫為企業用戶帶來的持續價值。
面對云數據庫的發展與變化,UCloud云數據庫在產品與技術上也在不斷尋求突破與創新。據羅成對介紹,UCloud公有云在2012年推出后,成功商用7年時間,累積了大量的企業用戶,秉承著“用戶的需求就是UCloud下一個產品”的公司產品理念,其云數據庫類產品的研發過程緊密圍繞著用戶需求點來展開,直接服務于平臺上大量的用戶。其中,云數據庫產品UDB、云緩存類數據庫UMem、分布式數據庫UDDB等產品自商用以來,都取得了良好的發展,并持續向企業用戶側滲透,服務更多企業用戶。在此期間,UCloud在產品上一直遵循“簡單易用”的設計理念,提供高性價比而有競爭力的云數據庫產品。因為我們堅信只要產品圍繞用戶,加上技術上的持續積累,必然會走出一條不一樣的道路。
回顧UCloud云數據庫發展歷程 三條路徑可循
目前,?AWS、阿里、騰訊、UCloud等眾多擁有豐富數據資源或計算實力的互聯網企業正走在云計算大潮的前列。各大云計算平臺服務商都在急速提升平臺優勢,拓寬合作層面,因此各企業利用現有的云平臺進行數據計算和處理,推出創新服務,是企業和平臺供應商的共贏之道。為此,羅成對回顧了UCloud云數據庫的發展歷程,是有三條路徑可循的,其關鍵點具體如下。
首先,緊跟開源社區步伐。2013年,UDB從最流行的開源數據庫MySQL起步,首先推出了MySQL云服務,2014年在國內首推MongoDB云服務,2016年推出PostgreSQL云服務。從最權威的DB Engine排名來看,結合云緩存數據庫UMem產品(Redis和Memcached),UCloud的數據庫產品覆蓋了TOP級的品類。
第二,從產品角度來看,UDB產品逐漸從早期的資源型交付,轉為增值型交付。資源型交付可以簡單理解為“我購買的UDB是怎么樣的資源”,包括版本與機型以及穩定可靠、高性能、安全性、隔離等特性。增值型交付則可以理解為“自帶DBA”,它是面向場景化的多面手,應對在使用過程中場景化的需求,比如備份與恢復、高可用與災備、擴容、遷移、調優等。從UDB產品的發展歷程來看,現在越來越多以提供增值型的特性交付。
第三,從開源到自研。經過自研能力的積累和沉淀,從2015年自研數據庫內核,再到在2016年,UCloud推出了自研分布式UDB(即UDDB),宣告UCloud在自研數據庫方面開花結果,UDDB支持分布式事務和分布式Join,高度兼容MySQL原生協議。后續還推出了自研的讀寫分離中間件,作為UDB for MySQL的性能加速器。當然還包括自研的規模級云數據庫服務平臺,承載龐大的UDB集群。未來UCloud云數據庫團隊將陸續推出更多自研、自主的數據庫產品。
“在經歷大規模商用后,我們有計劃開源我們良好的技術實現,反饋社區。”羅成對堅定地說。從產品、技術與理念的不斷迭代創新,UCloud云數據庫研發團隊始終保有一顆樸實的心,一顆工匠的心,精耕細作。
自建數據庫or云數據庫呢?且看UCloud個性化產品如何賦能用戶
無論是企業還是個人用戶都可以選擇自建數據庫,也可以將數據庫搬到云端。在自建數據庫與云數據庫的選擇中,羅成對分享了自己的觀點。
首先,云數據庫對企業用戶是帶來價值的,簡單來看,云數據庫的發展區分為兩個階段:第一個階段是數據庫托管,它解決的是用戶在數據庫資源管理和基礎運維上的痛點,對用戶的價值點是直觀可見的,這就是云數據庫的“資源型交付”;第二個階段是數據庫增值屬性,它解決的是用戶場景化痛點,帶有“DBA”屬性的,輔助完成比如性能調優、高可用HA和災備、彈性擴展、數據遷移與流轉等高階工作,讓用戶更多聚焦在業務成長,這是隱性的價值,未來的價值點將會持續增加,不斷賦能用戶在業務上的成功。
據不完全統計,UCloud產品服務的用戶群體中,自有DBA團隊的用戶比例不足15%,并成逐年降低趨勢。即使是中大型用戶,在其業務快速發展時,業務規模不斷擴展,業務架構愈發復雜,而云數據庫本身也是對自有DBA團隊和業務系統極好的補充。UCloud已上線的CloudDBA是一項增值服務,定位是在線智能DBA助手,陸續支持秒級監控、性能分析、問題診斷、SQL分析、自動化巡檢等功能,未來將朝著智能預測和智能調優等方向演進。這樣離“零維護”又更進一步。
那么,UCloud云數據庫是如何賦能用戶的呢?拿業務快速成長型的用戶為例,這類用戶在其業務快速發展的過程中,需求點總結為三條時間曲線,分別是“性能或者吞吐量”、“可用性”、“價值或者用戶”。毫無疑問,用戶對這三條時間曲線的期望是持續向上的,但是業務量增長時,則會表現的不盡如人意,性能和可用性都會出現重大波動,長此以往,用戶體驗就會變差,新業務無法上線,從而造成用戶出現流失。UCloud采用高可用性、高性能、高可靠性來解決這些痛點。
首先,在可用性方面,UCloud的高可用UDB產品達到了至少99.95%的可用率。在高可用UDB的技術實現上,經過長期運營,發現原有的VIP+代理+主備DB的架構有很多問題,而這種技術架構也是業界最為主流、最為成熟的實現。UDB產品團隊對其進一步架構簡化,即采用更樸素的漂移VIP+DB雙主的實現,在數據鏈路上減少一次轉發,消除一個潛在性能瓶頸;簡化模塊,減少不可控因素,以達到更高可用率。新架構對數據庫(MySQL和PGSQL)原生的兼容度更高,達到100%。去代理,無疑實現成本也更低。
其次,?UCloud一直追求更高性能,UDB?的性能優化是一項長期的任務。通常情況下,高性能可以通過擴展來實現,比如主從架構做讀寫分離、配置升級等手段。羅成對透露,團隊最新一次針對MySQL的性能優化后,在通用場景下的單實例,QPS提高到了7.27萬,TPS提高到了3.6k,相比之前有32%的性能提升。從單實例在線擴展為主從架構,免費開啟讀寫分離功能,集群整體QPS隨節點數完全線性增長。同時,UDB產品團隊通過技術升級、硬件更迭、數據運營等手段,從2018年開始對各類型產品進行每年至少一次的降價,降價幅度30%-40%不等,這樣性價比更高。
最后,數據庫穩定可靠,且保持了極好的擴展性,這是對成長型業務最有利的保障。在業務快速發展的不同階段,UDB都有直接對應的解決方案。單點型在線熱升級為高可用架構,實例在線熱升級,做Scale-up;在線擴展為數據庫集群,包括常規的主從架構和分布式架構,做Scale-out;無狀態的讀寫分離和計算層提供廉價的性能水平擴展能力。這都是在快速滿足業務爆發式增長情況下的“一條龍”解決方案。
技術門檻高不可攀?UCloud 的技術驅動夠硬核
云市場競爭激烈,想要在這場激烈的競爭中突出重圍,創新驅動不可少。產品層面,企業仍需要持續降低獲取門檻,保持良好的競爭力。而從技術的角度來看,云數據庫本身的技術門檻極高,它的發展離不開三個驅動力:
一是基礎設施驅動,包括新型硬件,如新一代計算(CPU/GPU)、存儲(Intel AEP)、網絡(RDMA)、高性能網絡架構,云平臺分布式存儲等等都在不斷推陳出新,軟硬件融合,能力越來越強。還有微服務和無狀態設計模式的普及,使云數據庫在技術選型上更加多樣,以前技術上不好實現的,現在變成不是問題;
二是成本驅動,作為一款商品,大規模生產時,單位投入就會下降。同時,不斷引入最適合的硬件或者基礎設施,自研可控的云服務平臺持續迭代優化,都對成本控制非常有利;
三是規模驅動,實例越來越多,用戶越來越多,場景越來越多,這就要求更多場景化功能,我統稱其為“規模效應”,要求以更快的速度,以“簡單易用”的產品交付到用戶手里。
羅成對強調,在這三項驅動力的作用下,云數據庫的技術實現上,如果能巧妙地借力用力,則會在市場競爭格局中保持足夠的核心競爭力。
以UCloud云數據庫產品UDB為例,未來UDB將會向三個方向發展,一是能力和性能越來越強,可靠性越來越高,比如目前UCloud正在自研的最新一代分布式數據庫,預計2020年面世;二是性價比會越來越高,普惠到更多客戶,通過技術降成本,或者通過運營降成本,才是可持續的;三是更高效的UDB,主要體現在運維效率與產品易用性,與AI技術的融合是很好的一條實現路徑。?
而在云數據庫有著眾多先行者與領先者的市場環境中,UCloud通過成熟的產品運營加上良好的技術實現持續保持競爭力。2019年至今,UCloud已經做到了分別對不同產品進行了5次降價,進一步降低用戶的TCO。在產品推廣路徑上,持續降低獲取門檻,是一項很重要的工作。購買云數據庫服務并非一錘子買賣。數據庫遷移上云后,是持續保障、持續滿足需求的過程,更是考驗一款產品的生命力。據悉,目前UDB的用戶群廣泛分布在互聯網、電商、游戲、企業服務、影音閱讀、傳統企業等各行各業。
堅定自研之路:不忘初心 未來可期
“產品運營6余年,我們對云數據庫的理解更加深入,2019年我們依舊保持一顆最樸素的心,貼近用戶,打造精品。”羅成對談到對于UCloud云數據庫未來的理念時說道。正如前文所說,云數據庫的資源型屬性和增值型屬性,未來兩種屬性的邊界將會越來越模糊,增值型屬性將最終轉化為資源型交付,完全集成到資源型交付中,用戶不再有使用門檻,簡單易用,不再有使用痛點和心理負擔,從而真正做到“零維護”。
對于云數據庫未來的發展與展望,羅成對表示,云數據庫各大廠商應加大自研力度,為什么要加大自研力度?首先,TOP級開源數據庫的交付存在不確定性。MongoDB、Redis更改了自己的開源協議,原廠的出發點可以理解,云服務商持續服務用戶的背后商業邏輯也是可以理解的。所以自研數據庫變成了一條必由之路。另外,自研類產品是保持核心競爭力和持續演進的關鍵,不具備自研數據庫能力的云廠商在接下來的競爭會比較吃力。
第二,完全協議兼容度、極致性能和可用性、極致彈性以及極高性價比仍是競爭力的核心要素,也是技術突破點。AWS的Aurora架構是在云數據庫領域屬于開拓者,基于計算存儲分離的云原生數據庫是一條新賽道。這背后的邏輯是,云平臺上逐漸成長起來的用戶,在應對高性能、海量數據時,即使使用成熟的RDS仍顯吃力。新型軟硬件一體化設計,100TB級存儲容量、100萬級IOPS、本地SSD IO時延、真正彈性擴容和彈性計費,是快速滿足用戶對更大數據量、更高性能、極致彈性、極高性價比的一種恰到好處的方案。另外,如果無法做到協議層面的100%兼容,就意味著生態兼容差,就增加遷移成本和改造成本,對上層業務帶來侵入性,無疑讓用戶望而卻步。
第三,面臨大規模數據庫集群,不論對云廠商還是對用戶而言,更加高效的管理成為剛需。云服務商所面對的龐大的數據庫集群規模,通常達到萬級實例數,甚至是10萬級,高效運維是一項極大的挑戰。用戶對云數據庫的全托管、零維護的未來預期是不會變的。所以,能完全滿足這兩點的規模級云數據庫服務平臺,它是云數據庫產品的載體,是比拼云數據庫的關鍵點之一。預計未來AIOps和AI的技術和方法論將更多融入到云數據庫中。
最后,快速可定制的產品能力也是滿足用戶需求的關鍵,這依賴于背后技術架構的良好實現,以及接口化、無狀態化、可插拔、可擴展的設計。它體現出來的則是在不影響存量客戶體驗、不增加云數據庫服務平臺復雜度的基礎上,最短時間響應用戶需求。
40多年的發展與變遷,數據庫的格局已然被改寫。在開源及云端浪潮的翻涌澎湃之下,數據庫的這片汪洋經歷著屬于它的浮沉。云中市場,新機遇不斷涌現,云數據庫市場已然進入到“百家爭鳴”的時代,在這樣的背景下,UCloud云數據庫用豐富個性化的產品不斷滿足用戶需求,更用最質樸的工匠之心,不斷打磨錘煉著這個云之重器。
總結
以上是生活随笔為你收集整理的2019年技术盘点云数据库篇(一):UCloud专家谈云数据库:千锤百炼 云之重器的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 戴尔科技:以技术突破创新边界!
- 下一篇: 推出超低功耗数字式热释电传感器,翠展微电