[活動] Log Management(LM) 日誌管理系統

看板MIS (IT資訊人員)作者 (吾養吾浩然之氣)時間11年前 (2013/11/30 01:21), 編輯推噓6(600)
留言6則, 6人參與, 最新討論串1/1
================================================================= ※文章歡迎轉寄、引用,唯敝人希望註明來自PTT MIS版,以達推廣之效※ ================================================================= PTT惠我良多,難得有MIS版,能多貢獻些所學,實感榮幸 日誌管理(Log Management, LM)其實已經是行之有年的老話題了, 但事實上,由於各種因素,其實還是不難發現企業內部的日誌大多還是 由各系統承辦單位在自主管理,當然這個原因很多,但最主要還是權責 劃分問題,若各位朋友有在比較具規模的企業任職MIS ,大到部門間的 衝突,小到 科/組 (ex:SP/AP/DBA..)之間的的隔閡之深..... 若不是真有機會見識到,坦白說還真難以想像。 好,那麼回到主題,傳統的Log如常見的Syslog(通常用在UNIX/UNIX-LIKE/Devices) 、Windows Event、或者像是在 /var/logs下的種種Log (UNIX/UNIX-LIKE) 各位若有幸作為一位SP人員,一定多少會遇到關於Log的幾個問題: 1. 日誌(Log)量過多,難以管理 -- 需要諸多的儲存空間存放、 必須妥善的規劃Rotation、House Keeping 2. 沒有方便的方式做日誌查閱 ex: by date, by username , by ip , by event type.. 3. 沒有統一的集中查閱方式 -- 各主機、系統的Log存放位置不同 若你是一位統管數百台甚至數千台Server的管理者, 當你想查閱某台Server的日誌(Log),你得到該台主機上去調, 萬一你需要查閱的是某個帳號名稱在某個時間曾經登入那些主機呢? ......要是我,肯定要瘋掉的 4. 日誌的電子證據效力 -- 這就屬於比較法規層面的問題了,稍後簡單點到 針對1,2,3點,其實是很多系統管理者的困擾。 於是乎 LM(Log Management)的觀念就誕生,大致上幾個重要的精神: (呼應以上幾點) 1. Log集中保管、集中存放 2. Log正規化(Normalization) -- 正規化其實就是妥善的將Log的資訊做萃取 以Syslog舉個例: Jun 12 09:15:50 10.1.4.201 DefensePro: 12-06-2012 09:15:50 INFO User ipsadmin logged in via web (IP: 10.1.1.123) 各位可以看到這條Log中,萃取出有價值的資訊為 發生時間:Jun 12 09:15:50 設備IP:10.1.4.201 設備名稱:DefensePro 登入時間:12-06-2012 09:15:50 嚴重等級:INFO 登入帳號:ipsadmin 登入方式:web 來源IP:10.1.1.123 以上就是一個正規化的觀念了,但透過LM系統來幫我們解讀, 然後將對應資訊放入對應欄位。 ex: 該放 來源IP就放入來源IP的欄位, 該放 帳號名稱就放入帳號名稱 所以以我剛剛說的需求: 要快速調閱 2012/06/12 所有曾經使用ipsadmin這個帳號登入的紀錄 在LM的幫助下(前提是已經收容了所有伺服器/設備的Log),利用搜尋條件 登入時間 = '2012/06/12' AND 帳號名稱 = 'ipsadmin' (一般來說,應該會有GUI的方式操作達到以上的搜尋條件設定) 即可滿足此需求。 3. 集中查閱。以上面的例子來說,若是你有上百台設備+上百/千台伺服器... 光是每台找Log,搜尋帳號名稱、抓日期,肯定就是要瘋掉了...至少我一定會瘋掉 光是1,2,3點的好處,就足以讓IT單位導入LM系統。 4. 日誌的電子證據效力: 這算是比較偏法規面的話題,由於訴訟的案例會發現電子紀錄的證據力, 往往容易受到質疑,而舉證之所在、敗訴之所在, 若企業舉證使用的Log ,不被法院承認其效力, 因證據必須有不可否認、不可竄改的特性,偏偏電子證據最容易被修改變造, 舉證這點就會落入非常不利的處境。 而一般較高規格的LM系統便會加入此特性,讓Log一旦收容LM後無法修改, 保存其證據力。 OK,介紹了LM的概念後,來談談市面上常見的LM產品 Microsoft System Center Operation Manager (SCOM) HP ArcSight Logger Novell Sentinel Log Manager (NetIQ) CA Enterprise Log Manager RSA enVision McAfee Enterprise Log Manager IBM Q1 Lab Splunk* 以上舉的這些產品,基本上都有滿足我上述所提的觀念, 但某些並不具備第四點的特性(證據力),為避免有商業廣告的嫌疑, 我就不特別提示,大家有興趣不妨私下交流或Google,都可以輕鬆找到解答。 至於Splunk部分,我特別Mark起來是因為Splunk似乎沒有正規化的特性, 但也能達成LM所需要的重點(集中保存日誌及搜尋能力), 因為我接觸並不深,所以稍微提一下。 數年前,LM的概念被提升成SIEM(Security Information and Event Management) 甚至發展到了SOC(Security Operation Center) 因為這篇文已經太長,所以我就暫不談這塊,至少先跟大家分享LM的觀念。 ================================================================= ※文章歡迎轉寄、引用,唯敝人希望註明來自PTT MIS版,以達推廣之效※ ================================================================= -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 175.182.115.168 ※ 編輯: coflame 來自: 175.182.115.168 (11/30 01:27) ※ 編輯: coflame 來自: 175.182.115.168 (11/30 01:43)

11/30 10:35, , 1F
先推! C兄有考慮兼任板主嗎?
11/30 10:35, 1F

11/30 12:18, , 2F
有用有推,讚
11/30 12:18, 2F

11/30 12:22, , 3F
splunk要自己切分欄位 會比較辛苦一些
11/30 12:22, 3F

11/30 13:02, , 4F
logstash+elasticsearch+kibana兜起來將就用
11/30 13:02, 4F

12/01 11:56, , 5F
推 但這很貴啊
12/01 11:56, 5F

12/14 18:26, , 6F
推hp arcsight
12/14 18:26, 6F
文章代碼(AID): #1IcCq9bo (MIS)
文章代碼(AID): #1IcCq9bo (MIS)