高容錯性分布式文件系統EvoDFS的設計與實現

2.3萬字 48頁 原創(chuàng)作品，通過查重系統

摘要
隨著互聯網技術的飛速發(fā)展，產生了大量的數據。海量數據如何高效的存儲和訪問成為新的挑戰(zhàn)，隨著文件數量和訪問量的迅速增加，傳統的文件系統已成為制約互聯網應用的瓶頸所在。分布式文件系統有效地解決了海量存儲和高并發(fā)訪問的問題，已成功地為許多應用提供數據存儲服務。
本文分析了當前眾多的分布式文件系統，重點分析了HDFS和TFS。HDFS適用于存儲大文件的場景，而TFS則適用于存儲小文件的場景，HDFS和TFS的元數據服務器都由單一結點組成，具有單點失效問題。本文在對分布式文件系統的相關技術進行充分研究的基礎上，設計并實現了分布式文件系統EvoDFS。
本文所做的主要工作包括以下幾個方面：
1. 設計了EvoDFS的架構。EvoDFS采用純分布式架構，采用多個元數據服務器和多個數據服務器，元數據服務器和數據服務器數量均可任意擴展。元數據和文件數據都分布存儲，采用副本機制提高系統容錯性，不存在單點失效，解決了HDFS和TFS等現有分布式文件系統的單點失效問題，大大提高了并發(fā)性。
2. 對實現EvoDFS的關鍵技術進行了研究。EvoDFS采用副本機制和定時檢查機制提高系統容錯性，使用加鎖機制和版本號機制維護系統一致性。元數據管理充分結合了集中式管理和分布式管理的優(yōu)點。系統采用樹形目錄結構，使用口令認證方式對用戶進行認證，嚴格區(qū)分用戶空間。
3. 按照EvoDFS的設計方案和技術選型，實現了EvoDFS。EvoDFS具有高容錯性、高并發(fā)性、高可伸縮性、高安全性等良好的特性，對大文件和小文件的存儲和訪問都具有很好的性能，改進了HDFS和TFS等只適用于大文件或小文件的局限，并且EvoDFS采用C++語言實現，相比HDFS具有更高的執(zhí)行效率。
4. 基于EvoDFS，開發(fā)了一套類似百度云盤的應用——臻融存儲管家。系統分為客戶端和管理端?？蛻舳祟愃瓢俣仍乒芗?，給用戶提供文件操作界面。管理端提供存儲服務和系統監(jiān)控界面。
5. 對EvoDFS進行了性能測試?；谡槿诖鎯芗蚁到y對EvoDFS進行性能測試，測試結果表明EvoDFS對文件讀寫具有較好的性能，并且能夠很好的兼容大文件和小文件的存儲。


關鍵詞：EvoDFS；分布式文件系統；海量數據存儲