10倍DB交付效率，飛貸金融科技的數據庫生產容器化實踐

2019年6月20日，由Rancher Labs（以下簡稱Rancher）主辦的第三屆企業容器創新大會（Enterprise Container Innovation Conference, 以下簡稱ECIC）在北京喜來登大酒店盛大舉行。本屆ECIC規模宏大，全天共設置了17場主題演講，吸引了近千名容器技術愛好者參加，超過10000名觀眾在線上直播平臺觀看了本次盛會。

來自Rancher、阿里云、百度云、平安科技、中國聯通、飛貸金融科技、中國人壽、SmartX、華泰保險、廈門航空、JFrog、新東方、Cisco等十多家企業的技術負責人出席了本屆ECIC，現場帶來關于企業容器項目實踐經驗的精彩分享，為參會的容器技術愛好者帶來企業容器化的經驗分享。

大會現場，飛貸金融科技作為金融行業數據庫容器化的典型案例，為現場的容器愛好者帶來了題為《金融領域數據庫生產容器化及Istio應用》的實踐經驗分享。

?

對于飛貸金融科技而言，生產容器化及數據庫應用的難點在于，如何針對金融領域生產容器化及數據庫容器應用進行實踐創新，如何結合研發及業務場景落地，提升資源利用效率、提升產品研發、運維管理效率。

?

飛貸金融科技副總裁陳定瑋表示：“金融行業數據具有相較于其他行業更為嚴格的安全高標準，在安全合規的情況下用飛貸自研中間件，解決金融領域DB應用場景難題，帶來10x的DB交付效率，極致的彈性擴容能力。”?

演講實錄

飛貸金融科技成立于2010年，是移動信貸整體技術服務商。我們以科技創新作為企業發展的動力，在科技創新的道路上不斷前行。

2011年到2015年，飛貸做的是傳統的小微金融業務。2015年，我們決定進行線上互聯網化轉型。到2017年，我們整個公司進行了戰略升級，為金融行業客戶提供互聯網服務。迄今為止，飛貸為人保、北京銀行、華潤信托、通聯支付等多家金融行業企業提供了全鏈路的科技服務。

2018年，我們登上了美國《時代周刊》，被《時代周刊》稱為“全球金融科技最佳實踐”。同年，我們還拿到了世界銀行和G20共同推出的首屆全球小微金融獎最高榮譽——“年度產品創新”鉑金獎。

接下來，我會和大家詳細介紹一下，飛貸作為一家互聯網金融科技企業，是怎樣和容器化相結合，又是怎么在業務上應用容器化的。

飛貸應用容器化與前面分享的企業一致，同樣也是基于整個企業的容器化應用。值得一提的是，飛貸做的是金融領域，所以我們對安全、對容錯、對高恢復的部分相較于其他行業的企業而言更加在意。我們關注的不僅僅是應用，更多的會關注到如何迅速地進行災難的恢復。

我們利用容器進行了整體的架構部署，從大家比較熟悉的DevOps，到我稍后會重點介紹的DB Mesh的部分。我們劃分了幾大平臺，包括容器化平臺、產品研發平臺和數據平臺。下面的是應用安全、數據安全、網絡安全、容器安全、運維安全等部分。容器對我們而言幫助非常大，現在我們的RD都是基于容器Kubernetes做應用開發。在這一部分，飛貸在金融領域已經達到了領先的水平。

下圖是飛貸的容器發展路線圖。我們從2015年開始研究容器，2016年開始投產在RD環境上。在當時我們還沒能完全選定Kubernetes還是另外一個容器技術，所以暫時停留在RD階段。2017年，Kubernetes技術越來越成熟、越來越穩定，我們就把整體的方向往Kubernetes方向進行遷移。到了今年，我們的生產環境已經可以大量運用容器技術進行多個方向上的應用了。

剛才Rancher的CEO梁勝博士提到，現在Rancher已經可以做到多K8S集群管理和部署，多數據中心。這是和我們的業務發展比較貼合的。我們提供基于飛貸的金融云服務，同時我們有多租戶集群管理的業務需求。目前，我們已經可以針對K8S多集群進行應用服務、中心服務、數據庫服務等多個方向的多集群管理，同樣，我們也可以做到多租戶網絡隔離。

從客戶的角度來說，在客戶和我們合作之前或者是過程當中，他們先前可能并不了解小貸的業務運營是這樣的，所以銀行會把他們的整體服務放在我們公司，飛貸就變成了一家金融云廠商。而飛貸的特殊之處就在于，我們專注于和我們業務發展相關的內容，我們為客戶提供的不是一個整體的平臺，而是應用。

剛才提到的所有內容都是和容器息息相關的，容器的特性包括安全審計、動態存儲、高可用灰度發布等等，我們把容器的特性應用到了飛貸生產環境上，并且發揮到了極致。

下圖是飛貸容器化的平臺組件。無論是我們的RD還是外面的人員，飛貸會為他們提供應用商店，他們要做什么事情，就在我們的管理平臺點擊一下，我們會自動生產一個容器的應用幫他們進行處理。我們鏡像倉庫的部分是在一起的。

除了這幾個部分，我們還有Prometheus和Jenkins，這些體系和我們研發的相關度比較高，現在飛貸能實現自動集成、自動打包、自動發布和自動部署，這是我們研究了兩年多的平臺組件成果。

飛貸為什么要讓DB容器化？因為微服務部分的應用層已經發展得比較好了，但是對于DB而言還有很多的問題。假如DB宕機了，我想要迅速恢復這個DB，讓業務生產能夠正常運行，我們需要花費多長的時間呢？如果DB非常大，這個啟動時間是非常久的。這就是為什么銀行或者是大型金融機構沒有小型機，不敢用開源的MySQL或者是MangoDB等資料庫，因為他們要保證安全和持續運作，這是一個比較大的挑戰。

這就是我今天要重點講述的幾個問題，為什么要MySQL容器化？MySQL容器化安全穩定嗎？容器化MySQL的具體實現是樣的？

我們剛才介紹了飛貸要做多集群管理的容器，里面存在一些限制以及要求。第一，會涉及非常復雜的網絡結構；第二，故障要頻繁地切換，我們認為這在金融行業是非常重要的一個部分，因為一旦發生故障，金融行業的業務基本上就會停擺了；第三，要控制容量大小；第四則是要依賴網絡存儲。

我們之所以要做這個部分，有三個方面的原因。第一，我們需要實現標準化快速部署，因為應用快速部署完之后，如果DB部署很慢的話，對于我們而言，整體效率還是一樣地低，這是站在整體效率的部分而言的；第二就是微服務場景，我們現在的系統已經是全部為服務化進行終端的調整，在這種場景下，如果數據場景不能微服務化，那我上層所做的內容毫無意義，我們不希望數據庫成為業務彈性伸縮以及管理的短板；第三就是MySQL服務化、自動化、網絡化和智能化的需求。

?

我們進行MySQL容器化的效果很明顯。第一，我們可以實現高效彈性伸縮、擴容、備份、導入、導出、恢復、快照、遷移；第二，我們可以實現整體數據庫的性能監控和審計；第三，分布式存儲、資源、數據多副本可以實現實時同步。我們在大數據應用的部分可能和一般的公司也有所區別，我們生產環境的一些數據和大數據實時數據是拆分開的，但我們做到了實時同步；第四就是計算資源分布式，多節點，技術設施高可用；第五是擁有故障自愈的功能。我的MySQL如果宕機，我們可以迅速恢復。

下圖是我們MySQL DB的架構，底下的應用服務對應的是中間件，我們所有的中間件對應每一個單獨的庫。我們為了實現DB容器，把庫做到了非常大的空間壓縮，并且把庫進行了容量限制，這樣才有可能在庫故障的時候，可以迅速的啟動它。這部分考驗了我們整體的業務運作部分，數據分表分庫的能力、讀寫分離的能力。而這部分都是通過我們自行研發的中間件完成的。如果沒有我們自行研發的中間件，DB Mesh這部分內容是我們也無法完成的。

?

以上基本就是飛貸DB的網絡發散圖，架構特征包括幾個部分，一是高并發、低延遲，每秒10000事務處理，延遲小于100毫秒；二是支持IDC多活；三是支持數據路由；四是可以自動化或者人格化決策切換；五是數據多副本。

截至目前，飛貸的DB量級是PB級別的，我們大概是十幾個PB這種應用數量，可對外同步實施，故障容器數目大于二分之一可以自動回復，這就是為什么我們要做DB Mesh的原因。

另一部分是關于我們容器化整合Istio的，右邊是我們生產應用的圖形界面，可以看到注冊進去之后，我們就可以進行自動追蹤，了解庫的健康程度。但是里面還有一些小問題，當DB斷掉再恢復之后，這個服務就不見了，需要再次手工注入。關于這個問題，我們研究了Istio的很多文檔，但還沒有克服這一問題。所以在DB這一部分，我們只做到在生產的時候，一開始可以注入，但是當它掛掉之后，我們還是需要手工處理，暫時沒有辦法自動恢復。

而在應用和管理服務的部分，我們已經做到了完全自動化，整合Istio實現微服務Service Mesh，實現了微服務訪問、安全加固、控制、觀察。服務追蹤、限速、熔斷、調度、負載等部分。

以上是飛貸整體服務的應用部署，從應用服務到中間件，這是我們整體部署的發布圖，所以現在我們的RD人員基本上只負責開發，開發之后，所有一切都通過我們的平臺去進行集成、發布和管理，上了生產環境之后，也會由我們的運維來處理，不會由RD來處理。在這一點上，我們做的還比較符合銀行的要求。

最后，我想介紹一下飛貸容器化帶來的成果：

第一是提升飛貸整體生產力。飛貸80%的基礎運維都是自動化的；其次，交付能力也有所提升，一小時我們可以交付上百套的服務應用，目前來說有上千臺容器在我們整個生產環境上面運作，如果我們沒有進行微服務容器化的話，微服務架構部署時間會非常長；最后一個是我們具備生產環境上數百個MySQL的實例，這也是我們的一個容器化成果；

第二就是研發和擴展，可以按照容器的pod、物理主機節點、機柜及數據中心級別做擴展，這塊我們也結合了很多CMDB的內容，但在這里就不詳表了；

第三是IT成本的投入，這也是我們企業比較關注的一個內容，我們之前的私有云是用CloudStack作為平臺去搭建的，現在我們全部換成了容器。這大約節約了我們40%的資源，節省了60%的人力投入。以前我們要部署一個應用還需要提供虛擬主機在RD上面部署，現在容器一鍵部署就可以完成了。另外項目研發投入時間也節省了40%，因為部署應用之類的內容現在已經不需要RD人員來處理了，都是由我們平臺自動化處理的；

第四是安全、敏捷、高效，這部分業余數據的全量備份我們也是分鐘級的，我們的庫縮得足夠小，所以我們可以在幾分鐘內迅速備份；第二在容災故障的時候，我們的業務運用一鍵恢復也是分鐘級的，數據快照是秒級的，資源利用率提升10倍，數據庫交付能力提升近百倍，我們整個應用有上百個MySQL節點，如果一個個部署非常慢，我們現在已經把鏡像做起來了，所以部署是非常迅速的；

最后一點是運維變得非常簡單，自動化、極致的、彈性容器的調度，灰度發布、預發布、藍綠部署、持續交付。