首頁 > 優(yōu)秀范文 > 網(wǎng)絡流量分析的方法
時間：2023-06-04 08:37:22
序論：速發(fā)表網(wǎng)結合其深厚的文秘經(jīng)驗，特別為您篩選了11篇網(wǎng)絡流量分析的方法范文。如果您需要更多原創(chuàng)資料，歡迎隨時與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識！
1 多媒體流量分析的基礎
多媒體在應用層面對于用戶的強大支持，映射到其數(shù)據(jù)層面，必然是不容忽視的大量不同數(shù)據(jù)格式。而在這樣的環(huán)境之下，想要展開有效的網(wǎng)絡流量分析，實現(xiàn)對于通信資源的優(yōu)化利用，首先必須展開對于多媒體報文的有效分類。每一個報文都會在這個過程中被分類到對應的類型，而后進一步依據(jù)運營商制定的傳輸優(yōu)先策略對其展開傳輸處理。
多媒體流分類問題可抽象成從多媒體報文映射到流類型的過程，多媒體報文流經(jīng)流分類器，即展開對于其的辨別并且添加相關的類型標識，通常會將該標志寫入報文頭部字段中，便于后續(xù)識別和處理。在識別的過程中，可供識別多媒體流的方法主要有三種，即基于報文頭部信息的分類方法、基于數(shù)據(jù)包載荷內(nèi)容的分類方法以及基于流量統(tǒng)計模型的分類方法。其中基于報文頭部信息的分類方法，即依據(jù)報頭中的多元組信息展開工作，將其與預先定義的規(guī)則集進行比對匹配，并且確定出媒體流的對應分類進行標識。此種工作方式相對簡單，因此發(fā)展也趨于成熟，效率較高，但是在識別過程中由于多媒體應用使用的端口通常并不固定，因此針對而言準確率比較有限。而基于數(shù)據(jù)包載荷內(nèi)容的分類方法則面向報文載荷信息展開識別和工作，進一步又可以針對應用層協(xié)議展開解析或針對載荷內(nèi)容展開特征解析。此種識別方式工作準確率基本有所保證，但是對于某些私有協(xié)議以及加密數(shù)據(jù)流，會因為無法有效提取特征信息而導致識別失敗。最后，基于流量統(tǒng)計模型的分類方法主要是關注多媒體流量特征，通過流量來判斷多媒體數(shù)據(jù)的傳輸行為模式，諸如數(shù)據(jù)包的大小以及包與包之間的間隔時間等方面特征。此種方式能夠?qū)崿F(xiàn)系統(tǒng)的自主學習，但是會存在一定的分類延時。
2 網(wǎng)絡流量分析技術淺議
對多媒體進行標識之后，可以在網(wǎng)絡環(huán)境中展開更為有效的網(wǎng)絡流量分析。已經(jīng)被標記的信息流在傳輸過程中能夠表現(xiàn)出不同的對于資源的占用，以此作為依據(jù)展開更具有針對性的網(wǎng)絡流量分析，對于整體網(wǎng)絡數(shù)據(jù)傳輸資源和功能的優(yōu)化都必然有著積極價值。
隨著計算機技術的不斷成熟，網(wǎng)絡流量分析技術也呈現(xiàn)出不斷發(fā)展的特征。當前的流量分析技術，主要是在傳統(tǒng)的數(shù)據(jù)庫技術基礎之上，以一種開放的態(tài)度構建起支持自學習的網(wǎng)絡流量分析系統(tǒng)，從而實現(xiàn)整個體系的智能化。就目前的狀況看，常見的幾種流量分析技術有以下幾種。小學德育論文
1）SNMP技術。此種技術主要用于實現(xiàn)面向網(wǎng)絡環(huán)境中多種類型設備展開監(jiān)控和管理，并且對既有問題進行定位。該技術系統(tǒng)包括SNMP協(xié)議、管理信息結構以及管理信息庫三個部分構成，其中SNMP協(xié)議用于實現(xiàn)在應用程序和設備時間交換信息，而管理信息結構用于指定一個設備維護的管理信息的規(guī)則集，最后管理信息庫用于明確設備所維護的全部被管理對象的結構集合。
2）RMON技術。該項技術由IETF定義，本身是對于SNMP技術的一種深入。其對于標準功能以及網(wǎng)管站遠程監(jiān)控器之間的接口進行了重新定義，使得其能夠?qū)崿F(xiàn)更為順暢的數(shù)據(jù)交換，從而有助于展開對于網(wǎng)絡環(huán)境數(shù)據(jù)流量的更為有效監(jiān)視。在RMON系統(tǒng)中，當探測器發(fā)現(xiàn)了一個非正常態(tài)的網(wǎng)絡段之后，會主動與網(wǎng)絡維護管理控制臺接通聯(lián)絡，并將對應的網(wǎng)絡信息進行發(fā)送，實現(xiàn)對于整體網(wǎng)絡流量的監(jiān)控和分析。
3）SFlow技術。此種技術以隨機采樣作為主要的研究方式，并且能夠提供從第二層到第四層的相對完整的網(wǎng)絡流量分析信息，這種分析甚至可以擴展到整個網(wǎng)絡環(huán)境中，能夠?qū)崿F(xiàn)面向大數(shù)據(jù)流量的適應，尤其是在面向以流媒體作為主要流量資源占用的網(wǎng)絡環(huán)境時，仍然能夠保持穩(wěn)定的表現(xiàn)。此種技術成本較低且不會因為引入其技術為網(wǎng)絡環(huán)境帶來新的沖突，同時數(shù)據(jù)信息量大，能夠?qū)崿F(xiàn)更為完善的網(wǎng)絡分析。
4）NetFlow技術。此種技術主要用于實現(xiàn)網(wǎng)絡層高性能交換，首先被用于對網(wǎng)絡設備的數(shù)據(jù)交換進行加速。但是其核心是對于流緩存進行進一步的整理，因此在工作的過程中必然會能夠得到很多依據(jù)匯聚方法而統(tǒng)計的數(shù)據(jù)，其中包括諸如源IP、目的IP以及源端口和目的端口以及相關傳輸協(xié)議與包數(shù)量等，這些信息和統(tǒng)計數(shù)據(jù)對于深入展開網(wǎng)絡流量分析有著不容忽視的積極價值。
3 結論
在多媒體應用的網(wǎng)絡環(huán)境中，深入可靠的網(wǎng)絡流量分析系統(tǒng)，對于切實提升網(wǎng)絡自身的數(shù)據(jù)傳輸能力，為多媒體用戶提供更為穩(wěn)定的數(shù)據(jù)傳輸服務有著積極價值。實際工作中唯有不斷深入發(fā)現(xiàn)自身網(wǎng)絡環(huán)境特征，才能有的放矢展開有效的流量分析，實現(xiàn)網(wǎng)絡環(huán)境優(yōu)化。
路由器、交換機、寬帶接入服務器是構成寬帶網(wǎng)絡的主要網(wǎng)絡設備，一般數(shù)據(jù)網(wǎng)管系統(tǒng)可以看到每一臺設備的CPU、內(nèi)存、端口流量、路由數(shù)據(jù)庫等網(wǎng)絡信息，但這些流量是怎樣構成的，會對網(wǎng)絡產(chǎn)生怎樣的影響，我們無從知曉。對寬帶網(wǎng)絡流量的深入分析，使網(wǎng)絡設備流量監(jiān)控系統(tǒng)可以監(jiān)測的數(shù)據(jù)包括：網(wǎng)絡流量構成分析、使用的協(xié)議、系統(tǒng)負載、端口分布情況、數(shù)據(jù)應用統(tǒng)計、數(shù)據(jù)安全性、發(fā)送時間等。網(wǎng)絡流量分析應用可以接收來自網(wǎng)絡的各種信息，通過對這些數(shù)據(jù)的分析，網(wǎng)絡管理員可以深入了解網(wǎng)絡當前的運行狀況。下面從幾個方面對寬帶網(wǎng)絡流量分析方法進行探討：
1 數(shù)據(jù)抽樣
抽樣是指從原始數(shù)據(jù)集中按一定原則抽取部分實例，構成數(shù)據(jù)子集作為觀察對象。抽樣的目的是為了代表原始數(shù)據(jù)集特性的較小的數(shù)據(jù)集上獲得對原始數(shù)據(jù)集特性的推斷。數(shù)據(jù)抽樣的方法包括簡單隨機抽樣，即按照1/k的頻率，隨機進行抽樣；系統(tǒng)抽樣按數(shù)據(jù)包生成的時間順序，在抽取第一個數(shù)據(jù)包后，每隔k個包抽取一個包；分層抽樣可對標注過的每類應用采用簡單隨機抽樣或系統(tǒng)抽樣方式抽取數(shù)據(jù)包；集群抽樣可從多個子數(shù)據(jù)集中再隨機抽取若干個子數(shù)據(jù)集。
為對數(shù)據(jù)分布進行準確的分析，要用到幾個簡單的度量指標，包括算數(shù)平均值Mean、算數(shù)和S、計數(shù)C、最小值Min、最大值Max、極差Ed、中列數(shù)Mr、第一個四分位數(shù)Q1、第三個四分位數(shù)Q3、中位數(shù)Median、眾數(shù)Mode、離群點Outlier等。設n個排序后的觀察：
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=（Max-Min）/2
Q1=xn/4
Q3=x3n/4
Median=（x[n/2]+x[（n+1）/2]）/2
另外，眾數(shù)是指數(shù)據(jù)集中出現(xiàn)頻率最高的數(shù)；離群點有時又稱為歧異值，通常是指數(shù)據(jù)集中與數(shù)據(jù)一般行為不一樣的樣本。
2 流量分類
網(wǎng)絡流量分類是依據(jù)網(wǎng)絡應用協(xié)議對應的某些參數(shù)或特征，自動將網(wǎng)絡流量分成不同流量種類的過程。流量分類一般指將網(wǎng)絡流量分為多類，如果是二類分類，則可以使用流量檢測、流量識別、流量鑒別等方法。
從網(wǎng)絡流量分類針對的目標粒度，由細到粗又可以進一步分為包級（packer-level） 、流級（flow-level）和會話級（session-level）。包級分類基于網(wǎng)絡數(shù)據(jù)包所具有的特征，如包長、包到達間隔時間等，對每個數(shù)據(jù)包進行分類；流級分類基于五元組（源IP地址、源端口號、目的IP地址、目的端口號和協(xié)議）進行分類，除關注包級特征外，通常會進一步考慮流級得指紋特征，統(tǒng)計特征或行為特征；會話級分類基于三元組（源IP地址、目的IP地址和協(xié)議）進行分類，適用于簡單網(wǎng)絡服務環(huán)境的流量粗分類。
基于DPI（深度包檢測）的流量分類方法通過分析特定應用在通信過程中的傳輸協(xié)議特征串實現(xiàn)流量分類，DPI一般是在應用層內(nèi)容搜索特征串，如BitTorrent的某個TCP數(shù)據(jù)包中包含特征串”0x13BitTorrent”。在基于載荷進行DPI的流量分類中，DPI流量分類需要解決如下幾個問題：非標應用和私有協(xié)議越來越多，它們多缺乏公開可用的協(xié)議規(guī)范，導致特征串難找易變；某些特征模式的代表性較差，僅能匹配到部分流量，導致檢全率較低；隨機加密流可能匹配若干模式，導致誤檢率較高；基于協(xié)議語法或數(shù)據(jù)語義分析需要進行大量計算，導致系統(tǒng)時間和空間開銷較大。
3 基于統(tǒng)計學習的流量分析
基于統(tǒng)計學習的流量分析方法通過計算特定應用流量的統(tǒng)計信息，利用各種機器學習算法，包括有監(jiān)督學習算法和無監(jiān)督學習算法，對捕獲的網(wǎng)絡數(shù)據(jù)包進行鑒別?；跈C器學習的網(wǎng)絡流量分類通常包含三個步驟：統(tǒng)計特性抽取，單包特征如包長，復合流統(tǒng)計如均值或標準偏差；分類器構造及訓練；新流量分類。
基于機器學習的流量分類方法面臨以下幾個方面的問題：難以確定最有效的特征集，既要選擇最佳的n個特征，使分類算法得到最大的分類準確率，同時要求n的值最??；高維特征導致某些算法收斂時間長，計算復雜性較高，若僅參考從數(shù)據(jù)包頭導出的分類特征，如果每個流用于抽取特征的包數(shù)為n，則收集每個特征的計算成本將接近n.log2n；某些算法模型可能陷入局部最優(yōu)；分類準確率高度依賴于樣本的先驗概率，而訓練和測試樣本對某類流量可能是有偏樣本。
4 總結
寬帶網(wǎng)絡流量分析是網(wǎng)絡運營管理，網(wǎng)絡發(fā)展規(guī)劃，網(wǎng)絡流量調(diào)度和高效能業(yè)務前瞻的依據(jù)。網(wǎng)絡流量分析也是網(wǎng)絡攻擊和惡意代碼檢測以及流量清洗的重要手段。隨著寬帶網(wǎng)絡流量的快速增長，骨干網(wǎng)體系架構不斷演進、扁平化、網(wǎng)狀化、動態(tài)自適應成為網(wǎng)絡發(fā)展的趨勢，寬帶網(wǎng)絡流量分析再次面臨巨大挑戰(zhàn)，包括：高速網(wǎng)絡數(shù)據(jù)實時無損采集、單向流、協(xié)議私有化、加密、P2P、隧道傳輸、缺乏可信數(shù)據(jù)集和評估標準，網(wǎng)絡流量分析研究工作仍然需要不斷深入與創(chuàng)新。
參考文獻
[1]（美）Nader F.Mir，潘淑文.計算機與通信網(wǎng)絡[M].北京：中國電力出版社，2010（01）.
[2]余浩，徐明偉.P2P流檢測技術研究綜述[J].清華大學學報，2009（49）.
[3]彭蕓，劉瓊.Internet 流分類方法的比較研究[J].計算機科學，2007（34）.
1網(wǎng)絡流量分析的內(nèi)容
網(wǎng)絡通信流量分析的目的是了解網(wǎng)絡工況，及早發(fā)現(xiàn)可能存在的數(shù)據(jù)流量問題和應對措施。需明確的是，計算機網(wǎng)絡通信的核心作用是傳輸數(shù)據(jù)，而網(wǎng)絡流量的分析就是采集和分析計算機網(wǎng)絡中傳輸?shù)暮Ａ繑?shù)據(jù)流，網(wǎng)絡數(shù)據(jù)流的分析從計算機及傳輸相關的物理硬件底層的數(shù)據(jù)流到應用層的數(shù)據(jù)流分析，也稱為網(wǎng)絡通信協(xié)議分析。網(wǎng)絡管理人員若想了解和管控好一個網(wǎng)絡，其最重要的就是對網(wǎng)絡的了解，所謂知己知彼，包括并不限于了解網(wǎng)絡的拓撲結構、配置參數(shù)和設備類型等，但要保證網(wǎng)絡通信的服務質(zhì)量，這樣的認知是還是遠遠不夠。對網(wǎng)絡通信流量的分析能使網(wǎng)管更深入地了解計算機網(wǎng)絡，包括計算機網(wǎng)絡運行規(guī)律、網(wǎng)絡運行模式和用戶的上網(wǎng)行為。
2網(wǎng)絡異常的行為
計算機網(wǎng)絡異常的發(fā)現(xiàn)是建立在充分認知和網(wǎng)絡閥值為基礎的，一旦網(wǎng)絡流量突破了網(wǎng)管人員預設的網(wǎng)絡流量閥值，就需要通過發(fā)現(xiàn)、詢因、流控等技術手段，以防止網(wǎng)絡流量的無限暴增，進而能為網(wǎng)絡通信保持一定的高性能運行提供重要的保障。通常的網(wǎng)絡異常情況如下：(1)網(wǎng)絡運行異常：網(wǎng)絡中流量的異常，包括資源利用率、數(shù)據(jù)包數(shù)的異常。(2)網(wǎng)絡應用異常：進程連接數(shù)量、用戶應用響應、應用程序流量的異常，都能通過長期的主動分析來及時預警和發(fā)現(xiàn)。(3)用戶的異常上網(wǎng)行為：異常的上網(wǎng)行為也有鮮明的流量特征，如被蠕蟲病毒感染、不知情的情況下安裝了后門程序等，長期的數(shù)據(jù)流量分析能及時發(fā)現(xiàn)上網(wǎng)用戶的這些異常網(wǎng)絡行為，如何及時發(fā)現(xiàn)網(wǎng)絡用戶的異常上網(wǎng)行為是解決其影響網(wǎng)絡正常高效運行的關鍵。
二建立機器學習的計算機網(wǎng)絡通信流量分析
模型計算機網(wǎng)絡流量的突變性、弱耦合性和影響的非線性等特性，對傳統(tǒng)計算機網(wǎng)絡通信理論提出了新的挑戰(zhàn)，導致對網(wǎng)絡流量和協(xié)議概率分布的準確建模變得異常困難。
1模型擬解決的問題
針對計算機網(wǎng)絡通信流量分析的特點，提出了一個基于機器學習的計算機網(wǎng)絡通信的流量分析概念模型。提出該模型的真正目的在于：最大限度地利用獲得的流量數(shù)據(jù)和網(wǎng)管人員的監(jiān)測信息，自動完成流量分析的各個任務，自適應各種上層應用及對網(wǎng)絡的性能優(yōu)化。同時，模型通過計算機主動學習，指導主動式監(jiān)測的進行。從通信流量分析的具體任務而言，如果已經(jīng)較好地獲得了數(shù)據(jù)流量的概率分布特性，有兩個基本的問題：（1）正常情況，計算機監(jiān)控程序能否利用已得到的概率統(tǒng)計特性來預測可能發(fā)生未知的數(shù)據(jù)流量情況；（2）數(shù)據(jù)流量的特性突變之時，計算機監(jiān)控程序能否快速、有效地發(fā)現(xiàn)這種流量突變。這分別對應于網(wǎng)絡數(shù)據(jù)流量預測和異常網(wǎng)絡數(shù)據(jù)流量檢測，可以通過具有自學習能力的計算機程序自動實現(xiàn)上述預測和檢測。
2機器學習的概念
模型所謂機器學習的本質(zhì)是計算機程序的性能隨著經(jīng)驗的累積能自我完善。恰當選擇計算機的機器學習算法，可最大限度地使用上述經(jīng)驗和監(jiān)測信息，從而完成流量分析各任務的自動化處理，并根據(jù)應用環(huán)境對網(wǎng)絡的性能進行優(yōu)化。為此，機器算法是處理上述問題的理想選擇。首先給出基于機器學習的網(wǎng)絡流量分析模型，接著從機器學習的角度，闡明基于改進Boosting的機器學習算法。機器學習的本質(zhì)是將人類的經(jīng)驗積累和長期的監(jiān)測到的統(tǒng)計數(shù)據(jù)通過計算機程序以自動提高其性能，根據(jù)計算機通信網(wǎng)絡分析的一般流程，提出機器學習模型。此類模型利用網(wǎng)絡監(jiān)測算法測量獲得的流量數(shù)據(jù)，然后利用機器學習的方法，自動完成流量分析的各項作業(yè)任務，支持各種上層應用對網(wǎng)絡的性能優(yōu)化。當網(wǎng)絡管理人的監(jiān)督信息可以獲得的時候，該數(shù)據(jù)信息可以作為機器學習算法的儲備和先驗知識，結合人類的智慧以進一步提高算法的性能，如此往復，循環(huán)提升，不斷提高系統(tǒng)的數(shù)據(jù)流量分智能。
3改進Boosting算法
改進Boosting算法是一類使得學習算法的性能得以提高的學習策略?；贐oosting的學習算法的思路：找到許多簡單粗略的判斷準則要比找到一條非常準確的準則容易得多。通過不斷調(diào)用這種算法，每次用訓練樣本的不同子集對它進行訓練，循環(huán)多次后，這些準則就會結合成一條基本學習規(guī)則。
DOIDOI：10.11907/rjdk.162346
中圖分類號：TP309
文獻標識碼：A 文章編號文章編號：16727800（2016）011018402
0 引言
異常流量相對于平穩(wěn)的網(wǎng)絡流量有著顯著變化，它來自于網(wǎng)絡中的擁塞和路由器上的資源過載。網(wǎng)絡運營商必須及時準確地檢測異常流量，否則網(wǎng)絡無法有效、可靠地運行[1]。研究人員采用了各種分析技術，從基于體積分布的分析到基于網(wǎng)絡流量分布的分析來研究流量異常檢測。而最近研究表明，基于熵的異常檢測具有更好的效果。該方法是在流量分布中捕捉細粒度的模式，使用熵來跟蹤流量分布的變化具有兩方面優(yōu)勢：①利用熵可以提高檢測靈敏度，異常事件的發(fā)生可能未表現(xiàn)出存儲量異常；②使用流量特征可以診斷信息異常事件的性質(zhì)（如區(qū)分蠕蟲、DDoS攻擊或掃描）[2]。
一般而言，大多數(shù)研究者認為Flow頭的功能（如IP地址、端口和流量大?。┛勺鳛榛陟氐漠惓z測的備用選擇[3]。然而，端口和地址分布的兩兩相關性大于0.95，異常檢測到的端口和地址分布明顯重疊，這是產(chǎn)生深層流量模式的本質(zhì)原因。此外，異常掃描、DoS和P2P事件都不能通過端口和地址分布進行精確檢測，或只有在顯著的網(wǎng)絡流量異常事件發(fā)生時才能檢測出異常?？紤]到端口和地址分布的有限作用，應選擇流量分布作為基于熵的異常檢測指標。
本文提出一種利用度分布提高端口和地址分布檢測能力的異常檢測機制。使用入度和出度分布來估算每個主機通信的目的/源IP地址，對于每個入度值（出度值），通過計算熵來診斷異常。其中，選擇目的/源IP地址作為唯一備用指標，而不是兩個地址和端口，不需要使用具有相同底層屬性的不同分布來增加計算開銷。同時，為了捕捉動態(tài)網(wǎng)絡流量的本質(zhì)，引入了一個固定時間寬度的滑動窗口機制。
1 相關研究
網(wǎng)絡流量的異常檢測是保證網(wǎng)絡正常有效運行的重要手段。網(wǎng)絡流量異常檢測技術自提出以來，經(jīng)過多年發(fā)展，誕生了多種檢測方法，但這些方法通常都存在一定缺陷。因此，如何進一步提高檢測準確性、減少誤報率仍然是國內(nèi)外學者的研究熱點。其中，許多方法都集中在使用流量分布來診斷異常，如Thottan[4]使用單獨的MIB變量的統(tǒng)計分布來檢測網(wǎng)絡流量的突然變化。在各種異常統(tǒng)計檢測技術中，基于熵的方法已被證明在檢測異常的流量矩陣時間序列中的準確性和效率。張航等[5]利用最大值和相對熵建立了一種基于行為的異常檢測方法。以最大熵為基礎的基線分布由預先標記的訓練數(shù)據(jù)構成，但該基線適應網(wǎng)絡流量動態(tài)變化的機制仍然不清楚。本文提出一個機制，根據(jù)動態(tài)網(wǎng)絡流量在測量期間的變化來構建自適應基線，并調(diào)整基線在一個特定的時間跨度內(nèi)。
在線檢測異常受大流量數(shù)據(jù)的實時統(tǒng)計影響。吳靜等[6]采用五元組流分布（即源地址、目的地址、源端口、目的端口、協(xié)議）進行流量分析，導致內(nèi)存和處理能力的高開銷。一些網(wǎng)絡入侵檢測系統(tǒng)，如FlowMatrix與Snort匹配數(shù)據(jù)包到一個預定義的規(guī)則集，使它們無法檢測未知異常[7]。本文認為地址和端口具有高相關性，并使用地址作為獨特的度量來代替元組，用于檢測異常度分布的熵，不僅可減輕計算過程中在線分析階段的開銷，而且在發(fā)現(xiàn)新的異常類型方面比常規(guī)方法效果更好。
2 基礎理論
大多數(shù)流量異常都有一個共同特點，它們誘導流量頭特征分布的異常變化，如源地址、目的地址與端口，一般顯示出分散或集中分布的現(xiàn)象[8]。
例如，圖1顯示了3種類型攻擊的流量特征分布。圖1（a）顯示了一個典型的分布式拒絕服務（DDoS）攻擊。在這種情況下，大量主機發(fā)送信息到一個特定主機。同樣，許多網(wǎng)絡蠕蟲通過發(fā)送隨機探測，即到隨機區(qū)域產(chǎn)生大量目的地IP地址，從而使受感染的計算機繼續(xù)感染其它脆弱的計算機，如圖1（b）所示。在一些掃描事件中，一個源IP地址隨機掃描多個IP地址，如圖1（c）所示。
從以上分析得知，網(wǎng)絡流量發(fā)生異常時，會使源/目的地址、源/目的端口分布出現(xiàn)變化（見表1）。接下來需要研究：①采用什么指標可以準確配置這些異常流量特征，并明確表明上述攻擊的發(fā)生；②如何有效地量化異常大小，并揭示非正常的流量行為。
3 診斷方法
3.1 系統(tǒng)模型
總體架構包括3個主要功能部分：處理引擎（后端）、數(shù)據(jù)庫和WebGUI（前端）。處理引擎執(zhí)行顯式算法WebGUI和數(shù)據(jù)庫之間的通信。引擎主要實現(xiàn)以下幾方面任務：①接收NetFlow記錄的數(shù)據(jù)，如路由器、交換機、防火墻等，并以一個特定方式將數(shù)據(jù)通過緩沖存儲到數(shù)據(jù)庫；②獲得相關參數(shù)后，可通過使用SQL查詢來計算熵值度分布的原始流量數(shù)據(jù)；③根據(jù)測量期間的網(wǎng)絡狀態(tài)自動調(diào)整檢測閾值。流量統(tǒng)計數(shù)據(jù)庫提供了結構化存儲，簡化了熵值的分布程度計算。WebGUI前端可通過圖形方式顯示檢測結果。
3.2 算法設計
進行在線流量分析時，要提高異常檢測精度，減少計算時的開銷，異常檢測的流程與算法必須是輕量級的。首先，設計一個數(shù)據(jù)源和數(shù)據(jù)庫之間的緩沖區(qū)進行存儲和檢索。其次，考慮到許多攻擊一般只有幾分鐘時間，如DDoS攻擊一般只持續(xù)兩分鐘，因此要設置一個有限的時間段作為一個基本測量時間窗口的度量單位。
從概念上講，該算法可以分為3個階段：在第一階段，配置Netflow在特定時間段內(nèi)的頁面流量統(tǒng)計，根據(jù)訓練數(shù)據(jù)和預定義的閾值熵排除異常值，以便在測量期間準確校準基線。自適應閾值在檢測過程中生效；第二階段為處理階段，滑動時間窗口時，計算該窗口中流量特征的熵值；第三階段為后處理階段，設置閾值為下一個檢測過程的計算均值熵和方差。該算法的偽代碼如下：
4 結語
本文介紹了基于度分布的流量異常在線檢測方法，該方法具有以下優(yōu)點：①可以準確、高效地使用流量頭特征捕捉細粒度的流量模式分布，不僅減少了在線處理時間，也提高了檢測能力；②利用熵可以提高檢測靈敏度的特點來發(fā)現(xiàn)已知或未知的流量異常，并將其量化；③具備一種可降低誤警率的自適應閾值。下一步工作是進一步分析流量異常特征，尋找診斷網(wǎng)絡異常的方法。此外，降低報警延遲也是需要考慮的問題之一。
參考文獻：
[1] 王秀英，邵志清，陳麗瓊.異常流量檢測中的特征選擇[J].計算機工程與應用，2010（28）：129131.
[2] 崔錫鑫，蘇偉，劉穎.基于熵的流量分析和異常檢測技術研究與實現(xiàn)[J].計算機技術與發(fā)展，2013（5）：126129.
[3] 鄭黎明，鄒鵬，韓偉紅.基于多維熵值分類的骨干網(wǎng)流量異常檢測研究[J].計算機研究與發(fā)展，2012（9）：154163.
[4] THOTTAN M，JI C.Anomaly detection in IP networks[J].IEEE Transation on Signal Processing，2003，51（8）：21912204.
[5] 趙飛翔，張航，何小海.基于多層分塊的異常行為檢測算法[J].科學技術與工程，2015（10）：112116.
中圖分類號：TP393 文獻標識碼：A文章編號：1007-9599 (2010) 14-0000-01
The Flow Monitoring Method of Network Management
Li Jiabin
(Ocean University of China,Qingdao266100,China)
Abstract:With the rapid development of modern network technology,by network flow monitoring,to detect traffic anomaly within the enterprise LAN host,or set the threshold according to the system early warning so as to better protect the normal course of business demand for network bandwidth ,is the inevitable requirement of the development of network technology.In this paper,the characteristics of network traffic,network traffic measurement has done a study,so as to optimize the traffic monitoring technology made a number of recommendations.
Keywords:Network management;Network flow;Monitoring
企業(yè)局域網(wǎng)的廣泛應用為廣大企業(yè)帶來了快速的信息響應、辦公效率的大幅提升、經(jīng)營成本的降低等眾多好處。但同時，隨著網(wǎng)絡技術突飛猛進的發(fā)展，網(wǎng)絡應用五花八門，企業(yè)也不得不面對越來越多的惡意網(wǎng)絡攻擊與黑客入侵。目前，企業(yè)局域網(wǎng)網(wǎng)絡安全綜合應用了防火墻、入侵監(jiān)測、漏洞掃描、補丁分發(fā)等安全產(chǎn)品，致力于建設集訪問控制、流量監(jiān)測、帶寬管理及終端管理等功能與一體的安全管理平臺。通過對網(wǎng)絡流量的監(jiān)測，及時發(fā)現(xiàn)企業(yè)局域網(wǎng)內(nèi)流量異常的主機，或者根據(jù)系統(tǒng)設置的閾值提前預警，從而更好的保護正常業(yè)務對網(wǎng)絡帶寬的需求。所以，網(wǎng)絡流量監(jiān)測是實現(xiàn)對企業(yè)局域網(wǎng)運行狀況掌握與管理的有效手段。
一、網(wǎng)絡流量的特征
（一）數(shù)據(jù)流是雙向的，但通常是非對稱的?；ヂ?lián)網(wǎng)上大部分的應用都是雙向交換數(shù)據(jù)的，因此網(wǎng)絡的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異，這是因為從網(wǎng)站下載時會導致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。（二）大部分TCP會話是短期的。超過90%的TCP會話交換的數(shù)據(jù)量小于IOK字節(jié)，會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的www文檔傳輸都小于IOK字節(jié)，WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。（三）包的到達過程不是泊松過程。大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡設計都假設包的到達過程是泊松過程。簡單的說，泊松到達過程就是事件按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。（四）網(wǎng)絡通信量具有局域性?；ヂ?lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關和基于空間的相關。
二、網(wǎng)絡流量的測量
網(wǎng)絡流量的測量是人們研究互聯(lián)網(wǎng)絡的一個工具，通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流，我們可以設計出更加符合實際的網(wǎng)絡設備和更加合理的網(wǎng)絡協(xié)議。計算機網(wǎng)絡不是永遠不會出錯的，設備的一小點故障都有可能使整個網(wǎng)絡癱瘓，或者使網(wǎng)絡性能明顯下降。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡管理者提供詳細的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為：
（一）基于硬件的測量和基于軟件的測量。基于硬件的測量通常指使用為采集和分析網(wǎng)絡數(shù)據(jù)而特別設計的專用硬件設備進行網(wǎng)絡流的測量，這些設備一般都比較昂貴，而且受網(wǎng)絡接口數(shù)量，網(wǎng)絡插件的類型，存儲能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡接口部分，使其具備捕獲網(wǎng)絡數(shù)據(jù)包的功能。與基于硬件的方法比較，其費用比較低廉，但是性能比不上專用的網(wǎng)絡流量分析器。（二）主動測量和被動測量。被動測量只是記錄網(wǎng)絡的數(shù)據(jù)流，不向網(wǎng)絡流中注入任何數(shù)據(jù)。大部分網(wǎng)絡流量測量都是被動的測量。主動測量使用由測量設備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡而獲知網(wǎng)絡的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡延時。（三）在線分析和離線分析。有的網(wǎng)絡流量分析器支持實時地收集和分析網(wǎng)絡數(shù)據(jù)，使用可視化手段在線地顯示流量數(shù)據(jù)和分析結果，大部分基于硬件的網(wǎng)絡分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡數(shù)據(jù)，把數(shù)據(jù)存儲下來，并不對數(shù)據(jù)進行實時的分析。（四）協(xié)議級分類。對于不同的協(xié)議，例如以太網(wǎng)，幀中繼，異步傳輸模式，需要使用不同的網(wǎng)絡插件來收集網(wǎng)絡數(shù)據(jù)，因此也就有了不同的通信量測試方法。
三、網(wǎng)絡流量的監(jiān)測技術
根據(jù)對網(wǎng)絡流量的采集方式可將網(wǎng)絡流量監(jiān)測技術分為：基于網(wǎng)絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。
（一）基于網(wǎng)絡流量全鏡像的監(jiān)測技術。網(wǎng)絡流量全鏡像采集是目前IDS主要采用的網(wǎng)絡流量采集模式。其原理是通過交換機等網(wǎng)絡設備的端口鏡像或者通過分光器、網(wǎng)絡探針等附加設備，實現(xiàn)網(wǎng)絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點是能夠提供豐富的應用層信息。（二）基于Netflow的流量監(jiān)測技術。Netflow流量信息采集是基于網(wǎng)絡設備提供的Netflow機制實現(xiàn)的網(wǎng)絡流量信息采集。（三）基于SN的流量監(jiān)測技術?；赟NMP的流量信息采集，實質(zhì)上是通過提取網(wǎng)絡設備Agent提供的MIB中收集一些具體設備及流量信息有關的變量?；赟NMP收集的網(wǎng)絡流量信息包括：輸入字節(jié)數(shù)、輸入非廣播包數(shù)、輸入廣播包數(shù)、輸入包丟棄數(shù)、輸入包錯誤數(shù)、輸入未知協(xié)議包數(shù)、輸出字節(jié)數(shù)、輸出非廣播包數(shù)、輸出廣播包數(shù)、輸出包丟棄數(shù)、輸出包錯誤數(shù)、輸出隊長等。在此基礎上實現(xiàn)的流量信息采集效率和效果均能夠滿足網(wǎng)絡流量監(jiān)測的需求。
在綜合比較三種技術之后，不難得出以下結論：基于SNMP的流量監(jiān)測技術能夠滿足網(wǎng)絡流量分析的需要，且信息采集效率高，適合在各類網(wǎng)絡中應用。
Network Traffic Monitoring in Network Management
Wang Lei
(Hunan Women’s University,Changsha410004,China)
Abstract:This article study from the network traffic characteristics,internet traffic measurement,etc,so as to optimize some suggestions for traffic monitoring technologies.
Keywords:Network management;Network traffic;Monitoring
一、網(wǎng)絡流量的特征
(一)數(shù)據(jù)流是雙向的,但通常是非對稱的
互聯(lián)網(wǎng)上大部分的應用都是雙向交換數(shù)據(jù)的,因此網(wǎng)絡的流是雙向的。但是兩個方向上的數(shù)據(jù)率有很大的差異,這是因為從網(wǎng)站下載時會導致從網(wǎng)站到客戶端方向的數(shù)據(jù)量比另外一個方向多。
(二)大部分TCP會話是短期的
超過90%的TCP會話交換的數(shù)據(jù)量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產(chǎn)生了決定性的影響。
(三)包的到達過程不是泊松過程
大部分傳統(tǒng)的排隊理論和通信網(wǎng)絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數(shù)分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數(shù)分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯(lián)網(wǎng)絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數(shù)分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達,即包的到達是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數(shù)據(jù)傳輸所使用的協(xié)議。非泊松過程的現(xiàn)象迫使人們懷疑使用簡單的泊松模型研究網(wǎng)絡的可靠性,從而促進了網(wǎng)絡通信量模型的研究。
(四)網(wǎng)絡通信量具有局域性
互聯(lián)網(wǎng)流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯(lián)網(wǎng)的訪問反映在包的時間和源及目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。
二、網(wǎng)絡流量的測量
網(wǎng)絡流量的測量是人們研究互聯(lián)網(wǎng)絡的一個工具,通過采集和分析互聯(lián)網(wǎng)的數(shù)據(jù)流,我們可以設計出更加符合實際的網(wǎng)絡設備和更加合理的網(wǎng)絡協(xié)議。計算機網(wǎng)絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網(wǎng)絡癱瘓,或者使網(wǎng)絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯(lián)網(wǎng)流量的測量可以為網(wǎng)絡管理者提供詳細的信息以幫助發(fā)現(xiàn)和解決問題?；ヂ?lián)網(wǎng)流量的測量從不同的方面可以分為:
(一)基于硬件的測量和基于軟件的測量
基于硬件的測量通常指使用為采集和分析網(wǎng)絡數(shù)據(jù)而特別設計的專用硬件設備進行網(wǎng)絡流的測量,這些設備一般都比較昂貴,而且受網(wǎng)絡接口數(shù)量,網(wǎng)絡插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內(nèi)核中的網(wǎng)絡接口部分,使其具備捕獲網(wǎng)絡數(shù)據(jù)包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網(wǎng)絡流量分析器。
(二)主動測量和被動測量
被動測量只是記錄網(wǎng)絡的數(shù)據(jù)流,不向網(wǎng)絡流中注入任何數(shù)據(jù)。大部分網(wǎng)絡流量測量都是被動的測量。主動測量使用由測量設備產(chǎn)生的數(shù)據(jù)流來探測網(wǎng)絡而獲知網(wǎng)絡的信息。例如使用ping來估計到某個目的地址的網(wǎng)絡延時。
(三)在線分析和離線分析
有的網(wǎng)絡流量分析器支持實時地收集和分析網(wǎng)絡數(shù)據(jù),使用可視化手段在線地顯示流量數(shù)據(jù)和分析結果,大部分基于硬件的網(wǎng)絡分析器都具有這個能力。離線分析只是在線地收集網(wǎng)絡數(shù)據(jù),把數(shù)據(jù)存儲下來,并不對數(shù)據(jù)進行實時的分析。
(四)協(xié)議級分類
對于不同的協(xié)議,例如以太網(wǎng)(Ethernet),幀中繼(Frame Relay),異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網(wǎng)絡插件來收集網(wǎng)絡數(shù)據(jù),因此也就有了不同的通信量測試方法。
三、網(wǎng)絡流量的監(jiān)測技術
根據(jù)對網(wǎng)絡流量的采集方式可將網(wǎng)絡流量監(jiān)測技術分為:基于網(wǎng)絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。
(一)基于網(wǎng)絡流量全鏡像的監(jiān)測技術
網(wǎng)絡流量全鏡像采集是目前IDS主要采用的網(wǎng)絡流量采集模式。其原理是通過交換機等網(wǎng)絡設備的端口鏡像或者通過分光器、網(wǎng)絡探針等附加設備,實現(xiàn)網(wǎng)絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。
(二)基于Netflow的流量監(jiān)測技術
Netflow流量信息采集是基于網(wǎng)絡設備提供的Netflow機制實現(xiàn)的網(wǎng)絡流量信息采集。
中圖分類號：TP393.1 文獻標識碼：A 文章編號：1672-3791（2013）05（b）-0249-02
隨著高等教育信息化的發(fā)展，高等教育對于網(wǎng)絡的依賴日漸增加，同時高校校園網(wǎng)的出口帶寬要求也越來越高。但是受到資金、出口建設成本和網(wǎng)絡技術等方面的限制，高校校園網(wǎng)出口帶寬不可能無限提高，由此導致了高校校內(nèi)用戶日益增長的網(wǎng)絡需求與出口帶寬限制網(wǎng)絡流量之間的矛盾。而通過對出口網(wǎng)絡數(shù)據(jù)進行深層次應用分析制定相關策略能夠在一定程度上緩解這一矛盾。
1 網(wǎng)絡流量分析及控制的關鍵技術
網(wǎng)絡流量分析及控制是指對數(shù)據(jù)包進行檢測，并通過制定的策略對網(wǎng)絡應用實現(xiàn)放行、限制或阻塞的技術。現(xiàn)今P2P類下載應用占用了大量的帶寬資源，導致網(wǎng)絡的擁堵和服務質(zhì)量的下降。為了保證用戶能夠平等的使用網(wǎng)絡帶寬，需要采取必要的技術對P2P等應用進行一定程度的檢測與調(diào)控。目前主要的分析控制技術如下。
1.1 傳統(tǒng)防火墻對網(wǎng)絡流量的分析及控制
傳統(tǒng)防火墻都工作在OSI參考模型的第2、3、4層，通過對TCP/UDP端口、數(shù)據(jù)包的源/目的IP地址、MAC地址等進行過濾，實現(xiàn)對網(wǎng)絡流量的監(jiān)視。一般都是對數(shù)據(jù)包的包頭來做策略，并不關心整個數(shù)據(jù)包的信息。傳統(tǒng)防火墻對網(wǎng)絡流量的處理方法一般都是阻塞某種協(xié)議常用端口，或者阻斷客戶端與服務器的連接等。由于不能有效的分析數(shù)據(jù)包內(nèi)部信息，不能有效的了解用戶應用層的信息，也就不能有效的限制用戶的應用。采用傳統(tǒng)防火墻阻斷服務器與客戶端連接的方法也已經(jīng)不能準確的識別與控制。
1.2 DPI技術
深度報文檢測技術DPI（Deep Packet Inspectio）是在分析數(shù)據(jù)包包頭的基礎上，增加了對OSI參考模型第七層即應用層的分析。當IP數(shù)據(jù)包、TCP、UDP數(shù)據(jù)流經(jīng)過基于DPI技術的流量控制系統(tǒng)時，通過深入讀取數(shù)據(jù)包的內(nèi)容來對應用層信息進行重組，從而得到整個應用程序的內(nèi)容，然后按照系統(tǒng)定義的管理策略對流量進行整形操作。DPI技術可以分為兩大類：（1）使用特征字與掩碼相結合進行協(xié)議識別的DPI技術；（2）使用正則表達式庫進行協(xié)議識別的DPI技術。
2 高校校園網(wǎng)絡的現(xiàn)狀
目前大部分高校都已建成完善的園區(qū)網(wǎng)，普遍采用傳統(tǒng)的三層結構（核心層、匯聚層和接入層），并租用運營商電路實現(xiàn)與互聯(lián)網(wǎng)的高速對接。
校園網(wǎng)的主要特點是學生是網(wǎng)絡的主要用戶。隨著網(wǎng)絡技術的發(fā)展，學生作為社會最活躍的團體，對于網(wǎng)絡新興服務需求迫切，尤其是視頻服務。造成的結果是對網(wǎng)絡帶寬的占用比例極高，造成傳統(tǒng)服務的服務質(zhì)量下降。
以我院為例，我院校園網(wǎng)絡始建于2008年，網(wǎng)絡已覆蓋教學、辦公、生活等區(qū)域，其中學生宿舍網(wǎng)絡出口帶寬所占比例達到80%以上，其中多以視頻、P2P應用為主。
3 采用流量控制技術調(diào)整出口應用
在具體實現(xiàn)方面，采用了Panabit軟件。Panabit是北京派網(wǎng)軟件公司開發(fā)的免費的應用層流量控制系統(tǒng)，是基于穩(wěn)定性極高的FreeBSD開發(fā)的?？稍跒g覽器中對系統(tǒng)進行圖形化管理，界面友好，操作簡便。
3.1 Panabit流量控制系統(tǒng)的部署
（1）安裝。
Panabit需要獨立安裝在一臺計算機中，硬件配置要求如表1。
由表1可見，對于目前PC的硬件水平完全可以滿足安裝需要，只需要在計算機中多加裝兩塊網(wǎng)卡即可。
Panabit的硬件部署在網(wǎng)絡出口上。配置的3塊網(wǎng)卡，1塊用于管理Panabit管理系統(tǒng)，另外2塊分別用于采集上傳和下載流量的數(shù)據(jù)。
（2）Panabit系統(tǒng)的初始化配置。
①首先配置系統(tǒng)的IP地址等基礎信息（在此全部都采用校園網(wǎng)內(nèi)部私有地址），以便遠程管理（采用HTTPS協(xié)議）。
②選擇網(wǎng)絡配置下的“數(shù)據(jù)接口”選項，兩塊網(wǎng)卡的“應用模式”均選擇為“透明網(wǎng)橋”。
3.2 Panabit系統(tǒng)的流量控制策略的配置
（1）分配帶寬。
Panabit對帶寬的分配有三種模式：即帶寬限制，帶寬保證，帶寬預留。根據(jù)我院對網(wǎng)絡需求的實際情況，采用了帶寬保證模式。下面對帶寬保證模式進行詳細的說明：首先，帶寬保證模式也具有帶寬預留模式的功能，即對特定IP組、特定協(xié)議預留出足夠的帶寬。例如教學、辦公IP組，教務系統(tǒng)的ITSP協(xié)議等。在此基礎上，帶寬保證在其預留的帶寬不能滿足應用要求的時候，會從剩余的總帶寬里借用所需帶寬。例如每學期開學和學期末，學生大量選課，可以對選課系統(tǒng)的SSL等協(xié)議進行帶寬保證設置。
（2）建立策略組。
可以根據(jù)數(shù)據(jù)包的源地址、目的地址、應用協(xié)議等建立策略組。
3.3 系統(tǒng)測試與分析
4 結語
為了提高網(wǎng)絡帶寬的利用率，使高校校園網(wǎng)絡的使用更趨合理，網(wǎng)絡流量分析及控制勢在必行，同時也是非常有效的手段?；ヂ?lián)網(wǎng)飛速發(fā)展，網(wǎng)絡流量分析及控制也隨之快速發(fā)展，為高校的教學等工作提供了穩(wěn)定的網(wǎng)絡基礎，使教學信息管理系統(tǒng)和教學資源共享平臺的搭建更為安全、高效。為高校的信息化教學做出了貢獻。
參考文獻
[1] 劉劍鋒.部署運維管理平臺提高校園網(wǎng)運維水平[J].中國教育技術裝備，2011（10）.
【關鍵詞】綜合數(shù)據(jù)網(wǎng) 異常流量 支持向量機
1 某電網(wǎng)綜合數(shù)據(jù)網(wǎng)流量分析現(xiàn)狀
目前某電網(wǎng)公司綜合業(yè)務數(shù)據(jù)網(wǎng)以主數(shù)據(jù)中心和同城災備中心為核心，與全省各地供電局的綜合數(shù)據(jù)網(wǎng)絡核心形成互聯(lián)，互聯(lián)鏈路采用萬兆以太網(wǎng)傳輸技術，形成一個電網(wǎng)綜合數(shù)據(jù)業(yè)務傳輸?shù)某休d網(wǎng)平臺。具體網(wǎng)絡拓撲如下所示：
該電網(wǎng)公司綜合數(shù)據(jù)網(wǎng)絡核心日常數(shù)據(jù)流量已超過1GB，流量監(jiān)控使用ARBOR流量分析設備來完成，通過Netflow的方式監(jiān)測骨干層各中心匯聚設備連接到省中心的端口。
目前，該電網(wǎng)公司流量分析系統(tǒng)具備的主要功能包括：
（1）能夠得到端到端用戶體檢的量化數(shù)據(jù)，包括端到端的全過程響應時間。
（2）能夠得到網(wǎng)絡傳輸時延的數(shù)據(jù)，并考慮到不同數(shù)據(jù)包大小情況的網(wǎng)絡傳輸時延。
（3）能夠得到應用系統(tǒng)各個交互過程的響應時間的數(shù)據(jù)。
（4）能夠根據(jù)時間迅速定位流量，并根據(jù)地址、端口等信息迅速將所需網(wǎng)絡流量數(shù)據(jù)包檢索并抽取出來進行分析。
由以上功能點的統(tǒng)計分析，可以得知，目前該電網(wǎng)的流量分析系統(tǒng)能做到對網(wǎng)絡流量的統(tǒng)計及性能分析，但對網(wǎng)絡流量異常的做不到良好的預警。
2 流量異常檢測方法
自Denning研究異常檢測模型以來，網(wǎng)絡異常檢測方法的研究就一直受到學術界的極大關注。白玉峰研究致力于利用流量大?。ㄈ缌鲾?shù)、分組數(shù)或字節(jié)數(shù)）來檢測網(wǎng)絡異常并獲得巨大成功，但是這類方法面臨的問題是：并非所有的異常都會引起流量大小的顯著變化；此外，采用不同的流量測度可能會識別出不同的流量異常，因此僅僅采用一種流量測度并不能識別蘊含在流量數(shù)據(jù)中的所有異常。
近年來的大量研究表明，不管是局域網(wǎng)還是廣域網(wǎng)，網(wǎng)絡流量都具有明顯的突發(fā)性和長相關性，而網(wǎng)絡的自相似性特性可以很好地描述流量這些特性，所以，自相似性已成為網(wǎng)絡流量的重要特性并以此作為流量異常檢測的基礎?，F(xiàn)今已有大量計算機學科領域的算法和模型被使用在網(wǎng)絡流量的異常檢測方面，文獻采用小波分析方法利用網(wǎng)絡流量在時間尺度上的多重分形，在小波域內(nèi)對網(wǎng)絡流量進行分解，通過計算網(wǎng)絡流量的Hurst指數(shù)，根據(jù)正常與異常流量Hurst指數(shù)的偏差來檢測異常，但該方法Hurst指數(shù)與時間尺度緊密相關，只對突發(fā)性的流量具有較好的檢測效果；文獻[1]提出一種融合k-means的聚類檢測算法，該文增量地構建流量矩陣，增量地使用PCA主成分進行異常檢測，這些方法在全網(wǎng)流量異常時檢測效果非常明顯，但算法相對過于復雜使其在實時性上較差；文獻[2] 使用一種基于信息熵的特征選擇算法，降低了檢測數(shù)據(jù)的維數(shù)，但增量學習的限制條件比較多，增量學習效率較低。
3 綜合數(shù)據(jù)網(wǎng)流量異常檢測
通過上述分析可以看出，數(shù)據(jù)流五元組的熵值較為穩(wěn)定，可以通過熵值的變化情況來區(qū)分正常流量和異常流量。因此綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題也就是通過對數(shù)據(jù)流量五元組熵值的分析來做出正常或異常的判斷。
3.1 異常流量檢測模型
針對上文中對流量特性的分析，綜合數(shù)據(jù)網(wǎng)異常流量的檢測問題可以理解為通過已有的流量特征據(jù)，將現(xiàn)有的流量分類為正?；虍惓?。模式識別理論是利用已有的信息，按照某種特定的規(guī)則確定未知的樣本的類別屬性，模式識別往往被看作是分類問題，讓機器自身從環(huán)境中分離出某種模式并對未知樣本的歸類做出合理的判斷。因此，可以將模式識別應用于綜合數(shù)據(jù)網(wǎng)的異常力量檢測，通過對己有的數(shù)據(jù)流量的熵值樣本進行學習，建立規(guī)律模型，利用該模型對未知樣本進行分類。
3.2 異常檢測算法
首先使用一定數(shù)量的正常流量和異常流量數(shù)據(jù)作為訓練樣本輸入到支持向量機之中，根據(jù)這些訓練數(shù)據(jù)輸出一個模型，這個模型實際上就是通過樣本構造的決策函數(shù)。然后將測試數(shù)據(jù)輸入該模型進行分類。
3.2.1 訓練階段
根據(jù)信息熵的定義，對樣本流量的五元組分別求熵，建立樣本流量的五維熵值向量。使用核函數(shù)將向量從五維變換到高位，再將數(shù)據(jù)作為訓練樣本輸入到支持向量機之中，根據(jù)這些訓練數(shù)據(jù)構造的一個決策函數(shù)。
3.2.2 檢測階段
將檢測流量輸入模型進行檢測，分類結果為1則為正常流量，分類結果為-1即為異常流量。
4 結束語
本文通過對電力綜合數(shù)據(jù)網(wǎng)的流量數(shù)據(jù)結構進行分析，驗證了電力綜合數(shù)據(jù)網(wǎng)正常數(shù)據(jù)符合重尾分布，且正常單位流量具有穩(wěn)定的信息熵。在此基礎，對綜合數(shù)據(jù)網(wǎng)流量結構進行建模，采用支持向量機的識別算法對異常流量進行識別。實驗結果表明，在異常流量比例大于5%的條件下，算法能夠檢測出網(wǎng)絡中的異常數(shù)據(jù)。
下一步的工作是深入研究電力綜合數(shù)據(jù)網(wǎng)異常流量的類型以及各種異常流量對流量結構的影響，改進檢測算法，進一步提升算法的精度。
參考文獻
[1]DENNING D.An intrusion-detection model[J].IEEE Transactions on Software Engineering，1987，13（2）：222-232.
[2]TORRES R，HAJJAT M，RAO SG，et al.Inferring undesirable behavior from P2P traffic analysis[A].SIGMETRICS[C].USA，2009，231-242.
網(wǎng)絡流量性能測量與分析涉及許多關鍵技術,如單向測量中的時鐘同步問題,主動測量與被動測量的抽樣算法研究,多種測量工具之間的協(xié)同工作,網(wǎng)絡測量體系結構的搭建,性能指標的量化,性能指標的模型化分析,對網(wǎng)絡未來狀態(tài)進行趨勢預測,對海量測量數(shù)據(jù)進行數(shù)據(jù)挖掘或者利用已有的模型(petri網(wǎng)、自相似性、排隊論)研究其自相似特征,測量與分析結果的可視化,以及由測量所引起的安全性問題等等。
1.在IP網(wǎng)絡中采用網(wǎng)絡性能監(jiān)測技術,可以實現(xiàn)
1.1 合理規(guī)劃和優(yōu)化網(wǎng)絡性能
為更好的管理和改善網(wǎng)絡的運行,網(wǎng)絡管理者需要知道其網(wǎng)絡的流量情況和盡量多的流量信息。通過對網(wǎng)絡流量的監(jiān)測、數(shù)據(jù)采集和分析,給出詳細的鏈路和節(jié)點流量分析報告,獲得流量分布和流向分布、報文特性和協(xié)議分布特性,為網(wǎng)絡規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2 基于流量的計費
現(xiàn)在lSP對網(wǎng)絡用戶提供服務絕大多數(shù)還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網(wǎng)絡提供者不能夠統(tǒng)計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網(wǎng)時長、上網(wǎng)流量、網(wǎng)絡業(yè)務以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實現(xiàn)基于時間段、帶寬、應用、服務質(zhì)量等更加靈活的交費標準。
1.3 網(wǎng)絡應用狀況監(jiān)測與分析
了解網(wǎng)絡的應用狀況,對研究者和網(wǎng)絡提供者都很重要。通過網(wǎng)絡應用監(jiān)測,可以了解網(wǎng)絡上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡應用的使用情況,研究者可以據(jù)此研究新的協(xié)議與應用,網(wǎng)絡提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡。
1.4 實時監(jiān)測網(wǎng)絡狀況
針對網(wǎng)絡流量變化的突發(fā)性特性,通過實時監(jiān)測網(wǎng)絡狀況,能實時獲得網(wǎng)絡的當前運行狀況,減輕維護人員的工作負擔。能在網(wǎng)絡出現(xiàn)故障或擁塞時發(fā)出自動告警,在網(wǎng)絡即將出現(xiàn)瓶頸前給出分析和預測。現(xiàn)在隨著Internet網(wǎng)絡不斷擴大,網(wǎng)絡中也經(jīng)常會出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡突發(fā)事件從設備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡管理員感到棘手。因此,針對網(wǎng)絡中突發(fā)性的異常流量分析將有助于網(wǎng)絡管理員發(fā)現(xiàn)和解決問題。
1.5 網(wǎng)絡用戶行為監(jiān)測與分析
這對于網(wǎng)絡提供者來說非常重要,通過監(jiān)測訪問網(wǎng)絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網(wǎng)絡。
2)訪問我的網(wǎng)絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網(wǎng)絡的哪些部分。
通過這些信息,網(wǎng)絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網(wǎng)絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡流量的測量實體,即性能指標主要包括以下幾項。 2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網(wǎng)絡的基本能力或?qū)傩?不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網(wǎng)絡的丟包率,一般采用直接發(fā)送測量包來進行測量。目前評估網(wǎng)絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網(wǎng)絡能夠提供的最大的吞吐量。
2.5 流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考:一種是以一段時間間隔內(nèi)在測量點上觀測到的所有傳輸成功的IP包數(shù)量除以時間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量:用傳輸成功的IP包中總字節(jié)數(shù)除以時間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式:被動數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網(wǎng)絡用戶或網(wǎng)絡研究人員用來分析指定網(wǎng)絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現(xiàn)實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網(wǎng)絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2 被動測量
被動測量是在網(wǎng)絡中的一點收集流量信息,如使用路由器或交換機收渠數(shù)據(jù)或者一個獨立的設備被動地監(jiān)測網(wǎng)絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優(yōu)點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經(jīng)過的路由。但被動測量的優(yōu)點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網(wǎng)絡流量抽樣測量技術
選擇部分報文,當采樣時間間隔較大時,細微的網(wǎng)絡行為變化就無法精確探測到。反之,抽樣間隔過小時,又會占用過多的帶寬及需要更大的存儲能力。采樣方法隨采樣策略的不同而不同,如系統(tǒng)采樣或隨機采樣;也隨觸發(fā)采樣事件的不同而不同。如由報文到達時間觸發(fā)(基于時間采樣),由報文在流中所處的位置觸發(fā)(基于數(shù)目采樣)或由報文的內(nèi)容觸發(fā)(基于內(nèi)容采樣)。為了在減少采樣樣本和獲取更精確的流量數(shù)據(jù)之間達到平衡。
網(wǎng)絡流量性能測量和分析涉及許多關鍵技術，如單向測量中的時鐘同步新問題，主動測量和被動測量的抽樣算法探究，多種測量工具之間的協(xié)同工作，網(wǎng)絡測量體系結構的搭建，性能指標的量化，性能指標的模型化分析，對網(wǎng)絡未來狀態(tài)進行趨向猜測，對海量測量數(shù)據(jù)進行數(shù)據(jù)挖掘或者利用已有的模型（petri網(wǎng)、自相似性、排隊論）探究其自相似特征，測量和分析結果的可視化，以及由測量所引起的平安性新問題等等。
1.在IP網(wǎng)絡中采用網(wǎng)絡性能監(jiān)測技術，可以實現(xiàn)
1.1合理規(guī)劃和優(yōu)化網(wǎng)絡性能
為更好的管理和改善網(wǎng)絡的運行，網(wǎng)絡管理者需要知道其網(wǎng)絡的流量情況和盡量多的流量信息。通過對網(wǎng)絡流量的監(jiān)測、數(shù)據(jù)采集和分析，給出具體的鏈路和節(jié)點流量分析報告，獲得流量分布和流向分布、報文特性和協(xié)議分布特性，為網(wǎng)絡規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2基于流量的計費
現(xiàn)在lSP對網(wǎng)絡用戶提供服務絕大多數(shù)還是采用固定租費的形式，這對一般用戶和ISP來說，都不是一個好的選擇。采用這一形式的很大原因就是網(wǎng)絡提供者不能夠統(tǒng)計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網(wǎng)時長、上網(wǎng)流量、網(wǎng)絡業(yè)務以及目的網(wǎng)站數(shù)據(jù)分析，擺脫目前單一的包月制，實現(xiàn)基于時間段、帶寬、應用、服務質(zhì)量等更加靈活的交費標準。
1.3網(wǎng)絡應用狀況監(jiān)測和分析
了解網(wǎng)絡的應用狀況，對探究者和網(wǎng)絡提供者都很重要。通過網(wǎng)絡應用監(jiān)測，可以了解網(wǎng)絡上各種協(xié)議的使用情況（如www，pop3，ftp，rtp等協(xié)議），以及網(wǎng)絡應用的使用情況，探究者可以據(jù)此探究新的協(xié)議和應用，網(wǎng)絡提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡。
1.4實時監(jiān)測網(wǎng)絡狀況
針對網(wǎng)絡流量變化的突發(fā)性特性，通過實時監(jiān)測網(wǎng)絡狀況，能實時獲得網(wǎng)絡的當前運行狀況，減輕維護人員的工作負擔。能在網(wǎng)絡出現(xiàn)故障或擁塞時發(fā)出自動告警，在網(wǎng)絡即將出現(xiàn)瓶頸前給出分析和猜測?，F(xiàn)在隨著Internet網(wǎng)絡不斷擴大，網(wǎng)絡中也經(jīng)常會出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡突發(fā)事件從設備和網(wǎng)管的角度看卻很難發(fā)現(xiàn)，經(jīng)常讓網(wǎng)絡管理員感到棘手。因此，針對網(wǎng)絡中突發(fā)性的異常流量分析將有助于網(wǎng)絡管理員發(fā)現(xiàn)和解決新問題。
1.5網(wǎng)絡用戶行為監(jiān)測和分析
這對于網(wǎng)絡提供者來說非常重要，通過監(jiān)測訪問網(wǎng)絡的用戶的行為，可以了解到摘要：
1）某一段時間有多少用戶在訪問我的網(wǎng)絡。
2）訪問我的網(wǎng)絡最多的用戶是哪些。
3）這些用戶停留了多長時間。
4）他們來自什么地方。
5）他們到過我的網(wǎng)絡的哪些部分。
通過這些信息，網(wǎng)絡提供者可以更好的為用戶提供服務，從而也獲得更大的收益。
2.網(wǎng)絡流量測量有5個要素摘要：
測量時間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡流量的測量實體，即性能指標主要包括以下幾項。2.1連接性
連接性也稱可用性、連通性或可達性，嚴格說應該是網(wǎng)絡的基本能力或?qū)傩裕荒芊Q為性能，但ITU-T建議可以用一些方法進行定量的測量。
2.2延遲
對于單向延遲測量要求時鐘嚴格同步，這在實際的測量中很難做到，許多測量方案都采用往返延遲，以避開時鐘同步新問題。
2.3丟包率
為了評估網(wǎng)絡的丟包率，一般采用直接發(fā)送測量包來進行測量。目前評估網(wǎng)絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑（通路）中沒有其他背景流量時，網(wǎng)絡能夠提供的最大的吞吐量。
2.5流量參數(shù)
ITU－T提出兩種流量參數(shù)作為參考摘要：一種是以一段時間間隔內(nèi)在測量點上觀測到的所有傳輸成功的IP包數(shù)量除以時間間隔，即包吞吐量；另一種是基于字節(jié)吞吐量摘要：用傳輸成功的IP包中總字節(jié)數(shù)除以時間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式摘要：被動數(shù)據(jù)（指定鏈路數(shù)據(jù)）、主動數(shù)據(jù)（端至端數(shù)據(jù)）和BGP路由數(shù)據(jù)，由此涉及兩種測量方法摘要：被動測量方法和主動測量方法然而，近幾年來，主動測量技術被網(wǎng)絡用戶或網(wǎng)絡探究人員用來分析指定網(wǎng)絡路徑的流量行為。
3.1主動測量
主動測量的方法是指主動發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現(xiàn)實的流量（如WebServer的請求、FTP下載、DNS反應時間等）來測量一個應用的性能或者網(wǎng)絡的性能。由于測量點一般都靠近終究端，所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2被動測量
被動測量是在網(wǎng)絡中的一點收集流量信息，如使用路由器或交換機收渠數(shù)據(jù)或者一個獨立的設備被動地監(jiān)測網(wǎng)絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應，這些優(yōu)點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難摘要：如決定分縮手縮腳一所經(jīng)過的路由。但被動測量的優(yōu)點使得決定測量之前應該首先考慮被動測量。被動測量技術碰到的另一個重要新問題是目前提出的要求確保隱私和平安新問題。
3.3網(wǎng)絡流量抽樣測量技術
關鍵詞:DPI;智能流量管理系統(tǒng);管理策略
Campus Network Application Layer Traffic Monitoring and Flow Control Equipment to Study
TAO Wei-tian
(Network Management Center of Traditional Chinese Medicine in Gansu, Lanzhou 730000, China)
Abstract: With exports of campus network bandwidth increases and new applications development, the traditional port and IP-based traffic management difficult to meet the requirements, and has brought various problems. With quantitative analysis based on network planning and optimization is particularly important and urgent.
With the actual faces to the campus network, we should draw the network application-level monitoring technology, use-related flow control equipment, good flow control, only to allow the smooth operation of the dual network to educate the public, limited bandwidth, the effective application of resources, but also improve the network performance.
Key words: DPI; intelligent traffic management system; management strategy
隨著大學校園上網(wǎng)規(guī)模的增加,BT、P2P、視頻下載等應用風行,盡管已經(jīng)多次升級線路帶寬,卻發(fā)現(xiàn)上網(wǎng)還是卡,帶寬還是不夠用。各式病毒攻擊也伴隨而來,更是惱人的問題。使得校園網(wǎng)流量管理變得異常困難,大量帶寬被非核心業(yè)務占用,而傳統(tǒng)的基于端口和IP的流量管理難以滿足要求;面對眾多的用戶及復雜多元的網(wǎng)絡應用,給校園網(wǎng)絡管理帶來很大的威脅,網(wǎng)絡管理人員經(jīng)常遭遇下列問題:網(wǎng)絡占用率較高不能查明原因、帶寬不足需優(yōu)化而缺乏統(tǒng)計數(shù)據(jù)、網(wǎng)絡突然中斷不能查明原因等、希望獲得詳細的網(wǎng)絡管理報表用來網(wǎng)絡優(yōu)化或升級需要而沒有現(xiàn)成資料。
針對上述校園網(wǎng)絡實際面臨到的問題,我認為追根究底是要做好流量管控,使用應用層流量分析管理技術和產(chǎn)品,即可實現(xiàn)這方面的管理效果,這就需要做到:1) 了解網(wǎng)絡應用流量監(jiān)測技術;2) 合理的使用流量管理產(chǎn)品。下面,分別就這兩方面做以闡述:
1 網(wǎng)絡應用流量監(jiān)測原理及辦法
我們知道,傳統(tǒng)的流量和帶寬管理是基于OSI L2～L4層,通過IP包頭的五元組(源地址、目的地址、源端口、目的端口以及協(xié)議類型)信息進行分析,通常我們稱此為“普通報文檢測”?！捌胀▓笪臋z測”僅分析IP包的4層以下的內(nèi)容,通過端口號來識別應用類型。而當前網(wǎng)絡上的一些應用會采用隱藏或假冒端口號的方式躲避檢測和監(jiān)管,造成仿冒合法報文的數(shù)據(jù)流侵蝕著網(wǎng)絡(例如P2P下載軟件大多采用動態(tài)協(xié)商端口機制),此時采用L2～L4層的傳統(tǒng)檢測方法就無能為力了。
為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸?shù)膽妙愋?網(wǎng)絡流量應用識別基本技術DPI、DFI技術應運而生。也有文獻稱之為業(yè)務識別技術。
1.1網(wǎng)絡流量應用識別基本技術
1.1.1 DPI
DPI全稱為“Deep Packet Inspection”,稱為“深度包檢測”。DPI技術在分析包頭的基礎上,增加了對應用層的分析,是一種基于應用層的流量檢測和控制技術。當IP數(shù)據(jù)包、TCP或UDP數(shù)據(jù)流經(jīng)過基于DPI技術的流量管理系統(tǒng)時,該系統(tǒng)通過深入讀取IP包載荷的內(nèi)容,來對OSI 7層協(xié)議中的應用層信息進行重組,從而得到整個應用程序的內(nèi)容,然后按照系統(tǒng)定義的管理策略對流量進行整形操作。
DPI技術通常采用如下的數(shù)據(jù)包分析方法:
傳輸層端口分析。許多應用使用默認的傳輸層端口號,例如HTTP協(xié)議使用80端口。
特征字匹配分析。一些應用在應用層協(xié)議頭,或者應用層負荷中的特定位置中包含特征字段,通過特征字段的識別實現(xiàn)數(shù)據(jù)包檢查、監(jiān)控和分析。
通信交互過程分析。對多個會話的事務交互過程進行監(jiān)控分析,包括包長度、發(fā)送的包數(shù)目等,實現(xiàn)對網(wǎng)絡業(yè)務的檢查、監(jiān)控和分析。
DPI技術是達到應用層流控目標的基本方法,通過DPI技術,把流細分為對應具體的應用流,在分離流量的基礎上,定義帶寬通道,從而使網(wǎng)絡中的流量根據(jù)應用各行其道,優(yōu)化寬帶服務,提高網(wǎng)絡運行效率和服務品質(zhì),保障關鍵應用,獲得更好的用戶體驗。
DPI實現(xiàn)應用粒度控制的流程是:識別分析控制報告,其中識別準確度是關鍵,是評估流控產(chǎn)品的重要指標。
1.1.2 DFI
DFI(Deep/Dynamic Flow Inspection,深度/動態(tài)流檢測)與DPI進行應用層的載荷匹配不同,采用的是一種基于流量行為的應用識別技術,即不同的應用類型體現(xiàn)在會話連接或數(shù)據(jù)流上的狀態(tài)各有不同。DFI更關注于網(wǎng)絡流量特征的通用性,因此,DFI技術并不對網(wǎng)絡流量進行深度的報文檢測,而僅通過對網(wǎng)絡流量的狀態(tài)、網(wǎng)絡層和傳輸層信息、業(yè)務流持續(xù)時間、平均流速率、字節(jié)長度分布等參數(shù)的統(tǒng)計分析,來獲取業(yè)務類型、業(yè)務狀態(tài)。
2 網(wǎng)絡流量管理產(chǎn)品
2.1 智能管理
早期的網(wǎng)絡流量管理方式是在路由器、防火墻或局域網(wǎng)交換機上使用簡單的帶寬管理或QOS來實現(xiàn)(至今一些單位的簡易流控需求仍沿用這種方式),但這種控制方式需要人為干涉,操作復雜,無法做到智能管理,所以不能滿足網(wǎng)絡管理中復雜策略的精細程度和靈活程度需要。
智能流量管理系統(tǒng)是一款專業(yè)的L7應用層流量管理產(chǎn)品,適用于大中型企業(yè)、校園網(wǎng)、城域網(wǎng)等流量大、應用復雜的網(wǎng)絡化境;通過監(jiān)控網(wǎng)絡流量,分析流量行為,設置流控策略,分時段、按用戶、按應用實現(xiàn)流量控制和帶寬保障,全面提升帶寬利用價值。智能流量管理系統(tǒng)融合了DPI和DFI兩種技術,具有四個顯著特征。
1) 精確而廣泛的應用識別能力:對應用的識別是進行流量控制的基礎。智能流量管理系統(tǒng)應用識別庫能覆蓋各種主流應用,特別是結合國內(nèi)網(wǎng)絡應用的實際情況,提供對迅雷、QQ等本土應用的識別。另外,智能流量管理系統(tǒng)能夠?qū)χT如QQ這種具有即時消息、文件傳輸、音頻視頻、游戲等多種子協(xié)議的網(wǎng)絡應用,提供精細化的子應用識別。
2) 優(yōu)異的產(chǎn)品性能及安全性保障:智能流量管理系統(tǒng)對用戶網(wǎng)絡中的所有流量進行處理,能夠承受巨大的流量壓力,特別是在配置復雜策略情況下,不會造成設備性能的下降。另外,設備是以串接方式接入用戶網(wǎng)絡,具有良好的安全性,在設備出現(xiàn)運行斷電或異常情況時,能夠保障用戶業(yè)務的暢通。
3) 強大的控制能力:智能流量管理系統(tǒng)能夠根據(jù)用戶的實際需求,提供強大而完善的控制手段。通過不同時間段、不同用戶、不同網(wǎng)絡應用、不同控制動作等條件,實現(xiàn)不同情景下的策略配置。我們知道任何網(wǎng)絡流量的使用都和人的因素密不可分,智能流量管理系統(tǒng)能夠?qū)τ脩暨M行靈活的分類管理,從而使控制策略更加符合實際需要。
4) 清晰而全面的信息查詢:智能流量管理系統(tǒng)不僅能實現(xiàn)對網(wǎng)絡流量的控制,而且能幫助網(wǎng)絡管理者對異常問題進行定位,以及通過網(wǎng)絡應用現(xiàn)狀的分析實現(xiàn)對網(wǎng)絡的優(yōu)化。智能流量管理系統(tǒng)通過柱狀圖、餅狀圖、走勢圖等圖表,以及從不同的分析角度,可向用戶提供清晰而全面的實時信息查詢、歷史日志查詢、以及自動生成報表等功能。
2.2 國內(nèi)外產(chǎn)品介紹
國外廠商,以Cisco SCE、Allot、Packteer、Sendvine、 ACENET、Maxnet。產(chǎn)品特性能好,解決方案和產(chǎn)品成熟,均有用戶管理系統(tǒng)(可能為動態(tài)IP環(huán)境中使用,將用戶帳號和流量策略結合來控制流量),除ACENET外,其主流產(chǎn)品功能相對單一,但非常專業(yè)。
國內(nèi)廠商中,比較優(yōu)秀的有暢訊信通的QQSG、南京信風、寬廣、華為SIG、金御等,國內(nèi)產(chǎn)品適合國情,國內(nèi)應用的識別率相對國外產(chǎn)品高,存在問題是產(chǎn)品性能宣傳強,但實際使用,尤其是在策略較多情況下性能差,個別產(chǎn)品有POS接口(適合部分國內(nèi)運營商),價格較國外廠商有較大優(yōu)勢,功能較多,但在流量管理領域,屬于發(fā)展期,不夠成熟。
2.3 設備的選擇
2.3.1 硬件技術
流量管理設備硬件技術主要有三種:Intel X86架構、ASIC技術和NP技術,由于X86架構處理速度相對較慢,單個芯片的可擴展性較差,所以大部分廠家的低端產(chǎn)品采用X86架構,高端產(chǎn)品采用ASIC或NP技術,以適用于不同的網(wǎng)絡環(huán)境需求。
2.3.2 工作模式
1) 路由模式:通過網(wǎng)關模式串接在用戶網(wǎng)絡鏈路中,所有流量都通過網(wǎng)關處理,對內(nèi)網(wǎng)用戶上網(wǎng)行為和數(shù)據(jù)包實施控制、攔截、流量管理等功能。若將設備作為Internet 出口網(wǎng)關,設備的防火墻功能保障組織網(wǎng)絡安全,NAT功能內(nèi)網(wǎng)用戶上網(wǎng),實現(xiàn)基本的路由功能等。
2) 網(wǎng)橋模式:同樣串接在用戶網(wǎng)絡鏈路中,如同連接在出口網(wǎng)關和內(nèi)網(wǎng)交換機之間的“智能網(wǎng)線”,對流經(jīng)流控設備的所有數(shù)據(jù)流進行控制、攔截、流量管理等操作。網(wǎng)橋模式主要適用于不希望更改網(wǎng)絡結構、路由配置、IP 配置的用戶。
3) 旁路模式:即在出換機中配置鏡像端口,將流控設備的廣域網(wǎng)口同鏡像端口相連,實現(xiàn)對內(nèi)網(wǎng)數(shù)據(jù)包的監(jiān)聽。
采用旁路模式部署的流控設備,將與交換機的鏡像端口相連,部署實施簡單,完全不影響原有的網(wǎng)絡結構,降低了網(wǎng)絡單點故障的發(fā)生概率。
2.3.3 性能要求
1) 應用協(xié)議的識別與分類(種類和準確性),流控策略的普適性及長效性;
有些通過應用層特征碼來控制P2P的流控策略,如果不能及時更新特征碼或特征碼變得不可知,就可能導致流控失敗,一個近期的例子:BT通訊協(xié)議加密及迅雷通訊協(xié)議發(fā)生變化導致專門的P2P流控設備失效。好的流控設備不依賴于應用的特征碼,因此可以經(jīng)得起時間及應用軟件協(xié)議變化的考驗。
2) 流控策略的全面性
普通設備的只對P2P應用做控制,好的設備對所有流量的帶寬、會話數(shù)、總流量和應用做控制。由于流量的多樣性,單靠一兩種策略是不能管理好的,必須實行全面的流控策略才能達到流量管理的目的。
3) 看監(jiān)控對象及流控策略的精細度
好的設備既可以監(jiān)控出口網(wǎng)關處的流量又可以監(jiān)控來源網(wǎng)絡的流量分布;
普通設備的控制精度只能達到IP一級或網(wǎng)關一級,好的設備可以對每一源IP的不同應用分別做帶寬及會話數(shù)的控制,而且只有這樣才能保障關鍵應用及其它應用的服務質(zhì)量以及相同等級用戶上網(wǎng)體驗的一致性。
4) 看流量數(shù)據(jù)存儲及處理方式
好的設備可以將流量數(shù)據(jù)輸出到專門的流量分析工作站,將流量存儲、分析、統(tǒng)計、查詢功能和流量捕捉功能分開,保證了流量分析設備的運行效率和流量數(shù)據(jù)存儲的可持續(xù)性。
5) 應盡可能使用性能可靠、管理方便、特別是在有故障時能夠自動旁路的設備,避免故障點的出現(xiàn)。
2.4 設備優(yōu)缺點
流控設備不是萬能的,還要了解其缺點。
首先,因為它的工作原理和防病毒一樣屬于事后起作用,所以其優(yōu)點是精準,其缺點是:1) 總有部分(10～30%)流量不可識別,例如IP碎片、加密流量等;2) 性能會持續(xù)下降,當特征碼越來越多時,性能就會越來越低,這種趨勢發(fā)展到一定程度就會使流控設備成為網(wǎng)絡中新的性能瓶頸;3) 由于要頻繁更新特征碼,因此一、設備后期維護難度大,總體擁有成本高;二、對廠家的依賴程度高,廠家停產(chǎn)、倒閉等不可抗力因素使得購買其產(chǎn)品成為一種賭博行為。其次,要區(qū)別對待基于應用層的帶寬分析技術和控制技術,確定有未知流量的存在對于7層帶寬分析技術來說是一種間接的成果,但是對于基于其上的帶寬控制技術來說就是現(xiàn)實的噩夢,因為它要先識別再做控制,所以這部分流量永遠無法得到有效的控制,當某種未知流量短期內(nèi)突然增大時,流控措施就會馬上失效,例如,08年新版迅雷的快速普及就導致了不少流控設備失效,特別是一些國外的設備。
3 總結
綜上所述,只有做到網(wǎng)絡應用流量監(jiān)測技術和網(wǎng)絡流量管理設備的深入了解,才能針對校園網(wǎng)所面臨的問題,選擇好適合自己需要的網(wǎng)絡流量管理設備,做到“心中有數(shù)、有的放矢”。
參考文獻:
[1] 聶瑞華.基于DPI技術的校園網(wǎng)絡帶寬管理[J].計算機技術與發(fā)展,2009(4).
