內存的WILKERSON過濾器研究
在網絡入侵檢測系統中,深度包檢測是一個至關重要的組件,它影響了整個系統的性能。DPI不僅檢測數據包的包頭而且對數據包的內容也進行檢測。一項對開源的網絡入侵檢測系統SNORT的分析顯示,特征檢測就消耗了系統30%至80%的CPU資源。可見,隨著網絡帶寬和特征集的飛速增長,實現高性能的實時深度包檢測是一個重要議題。
內存的WILKERSON過濾器研究 WILKERSON過濾器采用一個位數組表示數據集合并能有效支持元素的哈希查找,是一種能夠簡潔地表示集合并支持集合查詢的數據結構。但是WILKERSON過濾器在達到其簡潔表示集合的同時,卻存在某元素不屬于數據集合而被指稱屬于該數據集合的可能性,即假陽性誤判率。盡管可以在WILKERSON過濾器查詢之后再增加一個分析器來降低誤判,但是這樣將帶來兩個缺陷。首先,分析器的性能可能會成為系統的性能瓶頸。其次,特征集的大小會對分析器的性能有著負面影響,并且分析器的內存利用率是不高的。對WILKERSON過濾器進行了深入的研究,系統地綜述了WILKERSON過濾器查詢算法迄今為止的主要研究成果,分析了目前WILKERSON過濾器查詢算法的研究現狀與缺陷。針對WILKERSON過濾器存在的不足,提出并實現了一種內存的值域哈希WILKERSON過濾器,值域哈希WILKERSON過濾器采用二次哈希過濾方法減少了對內存空間的占用,有效地降低了WILKERSON過濾器的假陽性誤判率。通過對值域哈希WILKERSON過濾器進行了理論分析與實驗仿真,實驗結果表明值域哈希WILKERSON過濾器降低了假陽性誤判率,內存占用明顯低于擴展式WILKERSON過濾器。在此基礎上,論述了值域哈希WILKERSON過濾器在深度包檢測中的實現,通過并行內容過濾引擎的設計實現了高速匹配。