對(duì)于深度機(jī)器學(xué)習(xí)的記錄解析和底層設(shè)計(jì)
來(lái)源：原創(chuàng) 時(shí)間：2018-02-27 瀏覽：0 次為了保證系統(tǒng)和系統(tǒng)的信息安全，日志幾乎被內(nèi)置到所有系統(tǒng)中，用于記錄系統(tǒng)運(yùn)行時(shí)生成的信息，如日常操作、網(wǎng)絡(luò)訪問(wèn)、系統(tǒng)警告等。與系統(tǒng)錯(cuò)誤等事件相關(guān)的屬性和信息。這些信息對(duì)于了解系統(tǒng)的性能非常重要，因此經(jīng)常用于異常檢測(cè)。隨著計(jì)算機(jī)系統(tǒng)的規(guī)模和復(fù)雜性的增加，日志的數(shù)量也在增加。
開(kāi)發(fā)人員或維護(hù)人員可以根據(jù)豐富的日志信息在運(yùn)行時(shí)監(jiān)視系統(tǒng)的行為，以進(jìn)一步跟蹤系統(tǒng)異常值的來(lái)源；但是，由于計(jì)算機(jī)系統(tǒng)的大小，而且大多數(shù)系統(tǒng)日志都是原始的非結(jié)構(gòu)化文本，當(dāng)出現(xiàn)實(shí)際問(wèn)題時(shí)，他們將面臨大量日志數(shù)據(jù)。如何在最短的時(shí)間內(nèi)高效、準(zhǔn)確地解析大量的日志數(shù)據(jù)，提取有用的信息，是一個(gè)亟待解決的重要問(wèn)題。
近年來(lái)，日志分析得到了越來(lái)越多的關(guān)注和迅速的發(fā)展。在傳統(tǒng)的日志分析方法中，開(kāi)發(fā)人員通常會(huì)根據(jù)自身的認(rèn)知情況，手工檢查系統(tǒng)問(wèn)題或創(chuàng)建正則表達(dá)式以進(jìn)行定期維護(hù)，但這些方法高度依賴專家經(jīng)驗(yàn)知識(shí)，通常不具備從歷史經(jīng)驗(yàn)中主動(dòng)學(xué)習(xí)知識(shí)的能力。當(dāng)出現(xiàn)新的格式日志時(shí)，解析規(guī)則很容易過(guò)時(shí)，因此，靈活的自動(dòng)化日志解析方法已經(jīng)成為一種要求。近年來(lái)，越來(lái)越多的研究者致力于自動(dòng)化日志解析。納加潘等人提出的離線日志解析方法與線性的運(yùn)行時(shí)間和空間，prewett4控制臺(tái)日志處理提出了一種基于規(guī)則的方法。
薛文娟提出一種基于層次聚類的日志分析方法。馬爾文等人。設(shè)計(jì)了一個(gè)安全日志分析系統(tǒng)基于頻繁模式增長(zhǎng)（FP-增長(zhǎng)）算法。然而，這些方法仍然存在以下缺陷：只適用于嚴(yán)格格式化的結(jié)構(gòu)化日志。它的性能在很大程度上取決于日志信息的格式和結(jié)構(gòu)。它依賴于源程序?qū)θ罩疚谋镜募s束，其適用性不強(qiáng)。日志格式的非結(jié)構(gòu)化特性導(dǎo)致了低分辨率精度。相關(guān)規(guī)則要求日志管理員提前編寫(xiě)腳本，管理員需要對(duì)系統(tǒng)或代碼有深入的了解，否則很難編寫(xiě)有效的腳本。
針對(duì)上述問(wèn)題，主要有兩種主要的日志解析方法：基于聚類的方法和啟發(fā)式方法?；诰垲惖娜罩窘馕龇椒ㄍǔＳ扇罩娟P(guān)鍵字提取日志關(guān)鍵字事務(wù)日志(LKE)和LogSigLogSignature表示，它們首先計(jì)算日志之間的距離。然后利用聚類技術(shù)形成不同的日志聚類。事件模板是從每個(gè)集群生成的。啟發(fā)式日志解析方法由簡(jiǎn)單日志聚類工具(SLCT)表示。
然后選擇頻繁項(xiàng)組成事件候選項(xiàng)，最后選擇候選項(xiàng)作為日志事件。LKE方法由于其自身的特點(diǎn)，不能用于處理數(shù)據(jù)量大的任務(wù)，雖然它也能達(dá)到較高的分辨率精度，但在系統(tǒng)異常問(wèn)題的檢測(cè)中，分析結(jié)果通常導(dǎo)致聚類分析，也稱為聚類分析，這是一種無(wú)監(jiān)督學(xué)習(xí)方法。它根據(jù)事物的某一屬性將一組樣本對(duì)象劃分成簇。聚類中的對(duì)象具有盡可能高的相似性，而聚類中的對(duì)象具有最小的相似性。
對(duì)象的主要目的是劃分一些未標(biāo)記的對(duì)象。聚類分析不知道目標(biāo)數(shù)據(jù)集中存在多少類，因此有必要在一定距離測(cè)度的基礎(chǔ)上對(duì)所有對(duì)象進(jìn)行聚類，從而使同一聚類之間的距離最小化。聚類分析可以分析數(shù)據(jù)點(diǎn)之間的內(nèi)在聯(lián)系，而不需要任何先驗(yàn)信息來(lái)進(jìn)一步研究。
聚類結(jié)果的評(píng)價(jià)包括兩個(gè)方面：聚類過(guò)程評(píng)價(jià)和聚類結(jié)果評(píng)價(jià)。后者只需考慮給定的聚類結(jié)果是否合理和有效。內(nèi)部度量和相對(duì)度量是利用數(shù)據(jù)集固有的特征和數(shù)量來(lái)評(píng)價(jià)聚類算法的結(jié)果的，通常用于數(shù)據(jù)結(jié)構(gòu)未知和無(wú)標(biāo)記數(shù)據(jù)結(jié)構(gòu)的聚類評(píng)價(jià)。相對(duì)度量的重點(diǎn)是聚類算法的有效性。本文對(duì)數(shù)據(jù)集的結(jié)構(gòu)進(jìn)行了分析，強(qiáng)調(diào)了聚類算法的準(zhǔn)確性。因此，采用外部度量作為聚類評(píng)價(jià)指標(biāo)。外部度量假設(shè)聚類算法的結(jié)果是基于一種人工的預(yù)定義結(jié)構(gòu)，反映了對(duì)數(shù)據(jù)聚類結(jié)構(gòu)的一種直觀的理解。
對(duì)于每個(gè)數(shù)據(jù)項(xiàng)，聚類結(jié)果與手冊(cè)更加一致。常用的外部度量指標(biāo)是F度量和Rand索引更多的錯(cuò)誤警報(bào)。本文主要結(jié)合Logsig算法的理論知識(shí)。設(shè)計(jì)并開(kāi)發(fā)了一個(gè)日志分析系統(tǒng)，該系統(tǒng)可以從非結(jié)構(gòu)化原始日志文本中生成H日志事件。該系統(tǒng)具有原始數(shù)據(jù)預(yù)處理、日志解析、聚類分析與評(píng)價(jià)、聚類結(jié)果散亂顯示等四大功能。系統(tǒng)的結(jié)果可以轉(zhuǎn)換為日志數(shù)據(jù)挖掘任務(wù)和日志事件序列，用于網(wǎng)絡(luò)入侵檢測(cè)。
該系統(tǒng)已在大型戰(zhàn)斗比賽的開(kāi)源防火墻日志數(shù)據(jù)集上進(jìn)行了測(cè)試。結(jié)果表明，測(cè)井分析的平均精度可達(dá)85%。實(shí)驗(yàn)表明，在原算法中加入數(shù)據(jù)預(yù)處理步驟后，與原Logsig算法相結(jié)合的聚類結(jié)果評(píng)價(jià)模塊，分辨率提高了60%。用戶可以更直觀地觀察日志解析的效率。
隨著計(jì)算機(jī)系統(tǒng)的發(fā)展，日志數(shù)量的增加，日志在各種數(shù)據(jù)挖掘任務(wù)中的作用，日志自動(dòng)解析成為必然趨勢(shì)。然而，缺乏一個(gè)系統(tǒng)的處理平臺(tái)。本文主要設(shè)計(jì)和開(kāi)發(fā)了一個(gè)日志解析系統(tǒng)，該系統(tǒng)能夠高效、快速地從日志文本中解析日志事件。該系統(tǒng)實(shí)現(xiàn)了原始數(shù)據(jù)的預(yù)處理和日志解析。聚類分析評(píng)價(jià)和聚類結(jié)果散點(diǎn)圖具有四大功能，集數(shù)據(jù)處理和結(jié)果分析于一體，提供了更好的用戶體驗(yàn)。通過(guò)ⅤAST201l1挑戰(zhàn)的開(kāi)源防火墻日志數(shù)據(jù)集驗(yàn)證了該系統(tǒng)的可行性。
分析了數(shù)據(jù)預(yù)處理聚類的數(shù)量以及正則表達(dá)式對(duì)日志解析精度的影響。還發(fā)現(xiàn)日志大小會(huì)影響聚類的時(shí)間復(fù)雜度。因此，在接下來(lái)的工作中，我們可以考慮程序運(yùn)行的并行性。目前，系統(tǒng)的聚類數(shù)是基于小數(shù)據(jù)集實(shí)驗(yàn)的，接下來(lái)的研究可以考慮結(jié)合自適應(yīng)聚類算法來(lái)提高系統(tǒng)的性能。
