HelloFresh迁移至新的API网关,实现微服务架构
http://www.infoq.com/cn/news/2017/04/hellofresh-api-migration
HelloFresh最近以零停機的方式將應用遷移到了一個新的API網關,其技術總監ítalo Lelis de Vietro在一篇文章中分享了他們所面臨的挑戰以及遷移的過程。
在這次遷移之前,HelloFresh已有的API是單體架構的。為了遷移至微服務架構并讓微服務的創建更加簡單,同時還要與他們的基礎設施進行集成,他們構建了一個新的API網關,這個網關會涵蓋已有的和新的服務。他們的基礎設施已經有了一些組件,包括服務發現、基于Ansible的自動化以及廣泛存在的日志和監控,這些組件都會讓微服務更加易于實現。為了解決零停機以及向后兼容的難題,團隊編寫了一個代理腳本將舊服務轉換為新的模式。遷移過程的第一次嘗試失敗了,然而第二次嘗試按照預期得到了成功。
HelloFresh已有的基礎設施使用Consul來實現服務發現,并使用HAProxy實現客戶端的負載均衡。這兩個因素促使他們轉向了微服務。團隊還有一個約定,那就是所有的新服務必須要從Ansible自動化開始著手。這種自動化幾乎涵蓋了整個技術棧,包括網絡、DNS、CI以及機器的供應。在分布式系統多個服務存在交互的場景下,可見性(Visibility)是至關重要的,HelloFresh存在著廣泛的日志和監控功能。Statsd和Grafana用于實現監控和儀表盤, ELK則被用來詳細分析服務的行為,它們組成了這方面的技術棧。
除了新的網關,新的認證服務也已經進行了規劃,它將會代替舊API中的認證模塊。這需要舊應用進行重構。
團隊預遷移的挑戰在于要向后兼容移動應用,確保所有的服務通過新的網關調用,所有的調用能夠安全傳輸,已有的API規則在新的API網關中能夠繼續得到遵循。不能對用戶強制要求移動應用的更新,因此API要保持向后的兼容性。正在使用的API同時包含公開的和私有的端點,所有的這些端點必須要使用新的網關進行注冊。微服務和網關之間的服務調用傳輸必須是安全的。API按照 OpenAPI格式進行文檔化,這是用于描述REST API的一個標準。這樣的話,團隊就能夠使用Go來編寫導入腳本,它會在舊API和新API間進行轉換,并保持像配額(quotas)、CORS設置以及限速這樣的規則。
遷移的第一次嘗試包括將舊的API替換為新的,首先在staging環境,然后是在生產環境,每一步都有相關的測試用例。這次嘗試最終失敗了,因為認證數據庫由于大量的請求出現負荷超載了。團隊低估了負載,數據庫開始拒絕連接。另外,在導入腳本方面有一些CORS錯誤配置。監控系統能夠捕獲到問題,遷移過程被回滾了。
第二次部署嘗試基于第一次所學習到的經驗教訓。團隊規劃了一個藍綠(blue-green)部署,預先準備了一個使用新網關的生產環境副本。這種設置使得新舊環境的切換變得更加容易,所需要的是配置的變更。機器的容量進行了重新的規劃,這基于正在運行的應用的指標以及第一次部署的負載指標所確定的。他們使用了一個開源的負載測試工具Gatling來運行性能測試。認證服務中一些已知的issue也進行了修正。
遷移之后,基礎設施如下圖所示:
圖片來源:http://highscalability.com/blog/2017/2/20/scaling-hellofresh-api-gateway.html
API網關是HelloFresh基礎設施的前沿。團隊為什么要構建自己的網關,而不是采用已有的解決方案呢?de Vietro在評論區是這樣回應的:
我們曾經嘗試Amazon API網關和Tyk,但是我們有自己的認證提供商(provider),將它與AWS網關集成的效果并不理想。我們必須要處理lambdas(AWS的云服務——譯注)來添加自定義的認證提供商。將相關指標數據集成到grafana也會更加復雜一些,另外一點就是我們會鎖定到相同的供應商上面。Tyk并沒有在自定義認證提供商方面給出什么方案(至少當時如此),我們必須要使用他們的內置策略、用戶管理以及ACL,這并不是我們想要的結果。我覺得現在的產品已經有了很大的不同,但這就是當時的原因所在。另外,借助我們自己的網關,可以版本化git上的路由配置文件,為其保留變更日志對我們來說至關重要。
這個API網關已經在Github上開源了。
https://github.com/hellofresh/janus
查看英文原文:HelloFresh's Migration to a New API Gateway to Enable Microservices
轉載于:https://www.cnblogs.com/davidwang456/articles/9251421.html
總結
以上是生活随笔為你收集整理的HelloFresh迁移至新的API网关,实现微服务架构的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何设计高可用的微服务架构
- 下一篇: 爬虫数据采集技术趋势-智能化解析