作者coflame (吾养吾浩然之气)
看板MIS
标题[活动] Log Management(LM) 日志管理系统
时间Sat Nov 30 01:21:10 2013
=================================================================
※文章欢迎转寄、引用,唯敝人希望注明来自PTT MIS版,以达推广之效※
=================================================================
PTT惠我良多,难得有MIS版,能多贡献些所学,实感荣幸
日志管理(
Log
Management, LM)其实已经是行之有年的老话题了,
但事实上,由於各种因素,其实还是不难发现企业内部的日志大多还是
由各系统承办单位在自主管理,当然这个原因很多,但最主要还是权责
划分问题,若各位朋友有在比较具规模的企业任职MIS ,大到部门间的
冲突,小到 科/组 (ex:SP/AP/DBA..)之间的的隔阂之深.....
若不是真有机会见识到,坦白说还真难以想像。
好,那麽回到主题,传统的Log如常见的Syslog(通常用在UNIX/UNIX-LIKE/Devices)
、Windows Event、或者像是在 /var/logs下的种种Log (UNIX/UNIX-LIKE)
各位若有幸作为一位SP人员,一定多少会遇到关於Log的几个问题:
1. 日志(Log)量过多,难以管理 -- 需要诸多的储存空间存放、
必须妥善的规划Rotation、House Keeping
2. 没有方便的方式做日志查阅
ex: by date, by username , by ip , by event type..
3. 没有统一的集中查阅方式 -- 各主机、系统的Log存放位置不同
若你是一位统管数百台甚至数千台Server的管理者,
当你想查阅某台Server的日志(Log),你得到该台主机上去调,
万一你需要查阅的是某个帐号名称在某个时间曾经登入那些主机呢?
......要是我,肯定要疯掉的
4. 日志的电子证据效力 -- 这就属於比较法规层面的问题了,稍後简单点到
针对1,2,3点,其实是很多系统管理者的困扰。
於是乎 LM(Log Management)的观念就诞生,大致上几个重要的精神:
(呼应以上几点)
1. Log集中保管、集中存放
2. Log正规化(Normalization) -- 正规化其实就是妥善的将Log的资讯做萃取
以Syslog举个例:
Jun 12 09:15:50 10.1.4.201 DefensePro: 12-06-2012 09:15:50 INFO User ipsadmin
logged in via web (IP: 10.1.1.123)
各位可以看到这条Log中,萃取出有价值的资讯为
发生时间:Jun 12 09:15:50
设备IP:10.1.4.201
设备名称:DefensePro
登入时间:12-06-2012 09:15:50
严重等级:INFO
登入帐号:ipsadmin
登入方式:web
来源IP:10.1.1.123
以上就是一个正规化的观念了,但透过LM系统来帮我们解读,
然後将对应资讯放入对应栏位。
ex: 该放 来源IP就放入来源IP的栏位, 该放 帐号名称就放入帐号名称
所以以我刚刚说的需求:
要快速调阅
2012/06/12 所有曾经使用
ipsadmin这个帐号登入的纪录
在LM的帮助下(前提是已经收容了所有伺服器/设备的Log),利用搜寻条件
登入时间 = '2012/06/12' AND 帐号名称 = 'ipsadmin'
(一般来说,应该会有GUI的方式操作达到以上的搜寻条件设定)
即可满足此需求。
3. 集中查阅。以上面的例子来说,若是你有上百台设备+上百/千台伺服器...
光是每台找Log,搜寻帐号名称、抓日期,肯定就是要疯掉了...至少我一定会疯掉
光是1,2,3点的好处,就足以让IT单位导入LM系统。
4. 日志的电子证据效力:
这算是比较偏法规面的话题,由於诉讼的案例会发现电子纪录的证据力,
往往容易受到质疑,而举证之所在、败诉之所在,
若企业举证使用的Log ,不被法院承认其效力,
因证据必须有不可否认、不可窜改的特性,偏偏电子证据最容易被修改变造,
举证这点就会落入非常不利的处境。
而一般较高规格的LM系统便会加入此特性,让Log一旦收容LM後无法修改,
保存其证据力。
OK,介绍了LM的概念後,来谈谈市面上常见的LM产品
Microsoft System Center Operation Manager (SCOM)
HP ArcSight Logger
Novell Sentinel Log Manager (NetIQ)
CA Enterprise Log Manager
RSA enVision
McAfee Enterprise Log Manager
IBM Q1 Lab
Splunk*
以上举的这些产品,基本上都有满足我上述所提的观念,
但某些并不具备第四点的特性(证据力),为避免有商业广告的嫌疑,
我就不特别提示,大家有兴趣不妨私下交流或Google,都可以轻松找到解答。
至於Splunk部分,我特别Mark起来是因为Splunk似乎没有正规化的特性,
但也能达成LM所需要的重点(集中保存日志及搜寻能力),
因为我接触并不深,所以稍微提一下。
数年前,LM的概念被提升成SIEM(
Security
Information and
Event
Management)
甚至发展到了SOC(
Security
Operation
Center)
因为这篇文已经太长,所以我就暂不谈这块,至少先跟大家分享LM的观念。
=================================================================
※文章欢迎转寄、引用,唯敝人希望注明来自PTT MIS版,以达推广之效※
=================================================================
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 175.182.115.168
※ 编辑: coflame 来自: 175.182.115.168 (11/30 01:27)
※ 编辑: coflame 来自: 175.182.115.168 (11/30 01:43)
1F:推 trumpete:先推! C兄有考虑兼任板主吗? 11/30 10:35
2F:推 leaderliu:有用有推,赞 11/30 12:18
3F:推 sssxyz:splunk要自己切分栏位 会比较辛苦一些 11/30 12:22
4F:推 saitoh:logstash+elasticsearch+kibana兜起来将就用 11/30 13:02
5F:推 note35:推 但这很贵啊 12/01 11:56
6F:推 peterwuu:推hp arcsight 12/14 18:26