AnyShare Family 7是怎樣解決海量小文件備份難題

AnyShare Family 7是怎樣解決海量小文件備份難題，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

這段時間，我花了很多時間研究海量小文件的備份，發現各種方案都有很大的局限性

我以為這是一個世界級的難題，但看了愛數7月6日的AnyShare Family 7揭秘會后，我恍然大悟，原來解決的思路如此簡單，但確實很實用，確實幫助AnyShare Family 7的用戶解決大問題。

AnyShare Family 7是愛數全新的整合、管理、洞察非結構化數據的生產力平臺，其實就是一個智能內容云平臺。

AnyShare Family 7包含5大功能模塊，分別是整合業務應用、內容應用開發、文檔管理、團隊協作和數據洞察。

這次發布的AnyShare Family 7全新版本，相比AnyShare Family 6，有很多功能和性能的提升，比如智能搜索建立索引的時長比AnyShare Family 6縮短了5倍。

在整體的架構上，AnyShare Family 7也和OpenText一樣，采用了現代化的微服務體系架構，更具有彈性和適應性。

但這些都不是我關注的重點，我還是關注那個海量小文件的備份問題，因為我困惑這些問題已經很多年了。

愛數總裁賀鴻富在AnyShare Family 7揭秘會上也講了，海量非結構化數據帶來的是海量小文件的管理問題。

比如愛數自己，有103TB的非結構化數據，一共2070萬個文件，平均文件大小是5.21MB。其實，5MB已經不算小文件了，但這是一個平均數，小于1MB的文件估計最少也有幾百萬。

AnyShare為了保存這些非結構化數據，底層采用了基于Ceph的對象存儲（也可以是第三方的對象存儲）。因為對象存儲的扁平架構，更加適合保存海量的文件。

但是，如果要采用常規的方式，對對象存儲進行備份和恢復，在文件小于1MB以后，備份和恢復速度都急劇下降。愛數自己的備份軟件如此，市場領導者Commvault的備份軟件也如此。

也就是備份100TB的平均大小為1MB的數據，備份和恢復時間都需要半個月左右。這樣的速度，肯定是無法滿足企業的RPO/RTO要求的。

但AnyShare Family 7采用全新的備份思路，同樣的數據，可以把備份和恢復的速度提高到僅需要5天左右。

而且關鍵的是，不僅僅只是速度提升3~4倍，更重要是性能穩定，不會出現抖動。也就是說，備份和恢復的速度，到了10MB以后，和文件大小就沒有關系了。

從測試也可以看出，AnyShare Family 7的備份恢復，對小文件無感。10MB以下的文件，備份速度都一致，而且速度穩定在250MB/s以上。

為什么愛數可以做得這么快？最主要原因就是另辟蹊徑，就是沒有像其他備份廠商一樣，采用標準的S3協議來備份對象存儲里的小文件。

大家知道，對象存儲基本都有小文件歸并技術。也就是說，小文件都是歸并為大對象保存在對象存儲里面的。小文件歸并有兩個作用，一是提高文件讀寫的處理效率，第二是提高存儲的空間利用率。

小文件和大對象的對應關系，對象存儲一般采用一個數據庫來保存這些元數據。當你使用標準的S3接口來訪問歸并后的小文件的時候，通過保存在數據庫里的元數據，可以輕易找到對應的大對象和相應的偏移量，把這個小文件讀取出來。

雖然對象存儲對小文件進行了歸并，但是，備份軟件如果通過S3來訪問的話，是感覺不到合并的大對象的。因此，備份軟件備份和恢復，還是要處理原始的小文件，而不能直接備份歸并后的大對象，因為備份軟件并不知道小文件和大對象的對應關系。

而愛數是做備份軟件起家的，因此，覺得應該采用全新的思路來解決這個問題。即無需對象存儲來做小文件歸并，而是由AnyShare Family 7在對象存儲的前面增加對象存儲（OSS）網關，由OSS網關來進行小文件歸并的工作。比如，所有小于10MB的文件，都在OSS網關進行合并，合并成128MB以上的大對象，再保存在對象存儲里。當然，OSS網關需要有一個數據庫來保存這些對應關系。

當AnyBackup Family 7去備份AnyShare Family 7的時候，AnyBackup Family 7能夠感知到OSS網關的存在，只備份歸并后的大對象，當然還有對應的元數據。當恢復的時候，除了恢復歸并后的大對象外，也同時恢復其對應的元數據。這樣，對于AnyBackup備份軟件來說，根本就感知不到小文件的存在，這就是我們上面看到的一樣，10MB以下的小文件，不管文件大小如何，備份恢復性能都是一樣的。

妙，實在是妙。愛數充分利用AnyBackup和AnyShare兩個研發團隊的合作優勢，完美解決了AnyShare Family 7的海量小文件備份恢復問題。

大家可能擔心，如果小文件需要修改，怎么辦？因為要修改一個大對象里面的小文件，還是非常麻煩的。但是，AnyShare作為內容管理平臺，這種情況是非常少的。因為內容管理基本都是企業已經完成的文檔。當然，如果有修改需要也不要緊，因為內容管理平臺本身就具有多版本的管理能力，修改后的文件保存為新的版本，這樣就不會破壞已經歸檔的大對象的穩定性。

為了打消大家的顧慮，這次AnyShare Family 7揭秘會，愛數還宣布了一個高性能備份恢復保障計劃。

也就是說，不管文件的數量和大小，AnyShare Family 7的備份和恢復速度都不小于100MB/s，而且，到明年年底之前，如果有第三方備份軟件備份海量小文件的速度比愛數AnyBackup Family 7快的話，那么客戶將免費獲得AnyShare Family 7的軟件永久許可。

看來愛數還是非常自信的，不僅承諾了備份恢復的絕對速度，也承諾了相對的PK。愛數認為從現在開始的一年半時間內，其獨特的專用備份性能，應該無人可以超越。

雖說這是一個AnyShare Family 7專用的備份解決方案，但確實幫助AnyShare Family 7在相比其他內容管理平臺來說，有這個巨大的差異化優勢。因為，不是所有的內容管理廠商都有自己的備份軟件，而且就算有了，可能也沒有想到這個思路。

普適的海量小文件的備份世界難題，其實愛數并沒有解決，因為這個方案只針對AnyShare Family 7。但是，對于使用AnyShare Family 7的用戶來說，這個就足夠了。AnyShare不僅僅是一個智能的內容云平臺，而且自帶備份功能，再也不用擔心海量小文件愈來愈多帶來的數據保護難題了。

關于AnyShare Family 7是怎樣解決海量小文件備份難題問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。