怎樣分析Linux日志系統

這篇文章給大家介紹怎樣分析Linux日志系統，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

1．日志概念

    日志文件詳細地記錄了系統每天發生的各種各樣的事件。用戶可以通過日志文件檢查錯誤產生的原因，或者在受到***和******時追蹤***者的蹤跡。日志的兩個比較重要的作用是：審核和監測。  
Linux系統的日志主要分為  兩種類型：  
1．進程所屬日志  
由用戶進程或其他系統服務進程自行生成的日志，比如服務器上的access_log與error_log日志文件。  
2．syslog消息  
系統syslog記錄的日志，任何希望記錄日志的系統進程或者用戶進程都可以給調用syslog來記錄日志。  
日志系統可以劃分為  三個子系統：  
1．  連接時間日志--由多個程序執行，把紀錄寫入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系統管理員能夠跟蹤誰在何時登錄到系統。  
2．  進程統計--由系統內核執行。當一個進程終止時，為每個進程往進程統計文件（pacct或acct）中寫一個紀錄。進程統計的目的是為系統中的基本服務提供命令使用統計。  
3．  錯誤日志--由syslogd（8）執行。各種系統守護進程、用戶程序和內核通過syslog（3）向文件/var/log/messages報告值得注意的事件。  
   

2．察看日志文件

    Linux系統所有的日志文件都在/var/log下，且  必須有root權限才能察看。  
　　日志文件其實是純文本的文件，每一行就是一個消息。察看方式有很多。  
1．  cat命令。日志文件總是很大的，因為從第一次啟動Linux開始，消息都累積在日志文件中。如果這個文件不只一頁，那么就會因為顯示滾動得太快看不清文件的內容。  
2．  文本編輯器。最好也不要用文本編輯器打開日志文件，這是因為一方面很耗費內存，另一方面不允許隨意改動日志文件。  
3．用more或less那樣的分頁顯示程序。  
4．用grep查找特定的消息。  
每一行表示一個消息，而且都由四個域的固定格式組成：  
n          時間標簽（timestamp），表示消息發出的日期和時間  
n          主機名（hostname）（在我們的例子中主機名為escher），表示生成消息的計算機的名字。如果只有一臺計算機，主機名就可能沒有必要了。但是，如果在網絡環境中使用syslog，那么就可能要把不同主機的消息發送到一臺服務器上集中處理。  
n          生成消息的子系統的名字。可以是"kernel"，表示消息來自內核，或者是進程的名字，表示發出消息的程序的名字。在方括號里的是進程的PID。  
n          消息（message），剩下的部分就是消息的內容。  
 舉例：
在[root@localhost root]# 提示符下輸入：tail /var/log/messages  
Jan 05 21:55:51 localhost last message repeated 3 times  
Jan 05 21:55:51 localhost kernel: [drm] AGP 0.99 on Intel i810 @ 0xf0000000 128M  
B  
Jan 05 21:55:51 localhost kernel: [drm] Initialized i830 1.3.2 20021108 on minor  
 0  
Jan 05 21:55:51 localhost kernel: mtrr: base(0xf0000000) is not aligned on a siz  
e(0x12c000) boundary  
Jan 05 21:56:35 localhost  1月 28 21:56:35 gdm(pam_unix)[4079]: session opened f  
or user root by (uid=0)  
Jan 05 21:56:39 localhost  1月 28 21:56:39 gconfd (root-4162): 正在啟動（版本 2.  
2.0），pid 4162 用戶"root"  
Jan 05 21:56:39 localhost  1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re  
adonly:/etc/gconf/gconf.xml.mandatory"指向位于 0 的只讀配置源  
Jan 05 21:56:39 localhost  1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re  
adwrite:/root/.gconf"指向位于 1 的可寫入配置源  
Jan 05 21:56:39 localhost  1月 28 21:56:39 gconfd (root-4162): 解析的地址"xml:re  
adonly:/etc/gconf/gconf.xml.defaults"指向位于 2 的只讀配置源  
Jan 05 21:58:20 localhost kernel: MSDOS FS: IO charset cp936  
     
    值得注意的是，與連接時間日志不同，  進程統計子系統默認不激活，它必須啟動。在Linux 系統中啟動進程統計使用accton命令，必須用root身份來運行。accton命令的形式為：accton file，file必須事先存在。先使用touch命令創建pacct文件：touch /var/log/pacct，然后運行accton：accton /var/log/pacct。一旦accton被激活，就可以使用lastcomm命令監測系統中任何時候執行的命令。若要關閉統計，可以使用不帶任何參數的accton命令。  
   

3．日志系統工作原理及配置

3.1 syslog

    它同  closelog, openlog共同給system logger發送消息。  
    Linux內核由很多子系統組成，包括網絡、文件訪問、內存管理等。子系統需要給用戶傳送一些消息，這些消息內容包括消息的來源及其重要性等。所有的子系統都要把消息送到一個可以維護的公用消息區。于是，就有了一個叫Syslog的程序。  
    這個程序負責接收消息（比如：系統核心和許多系統程序產生的錯誤信息、警告信息和其他信息，每個信息都包括重要級），并把消息分發到合適的地方。通常情況下，所有的消息都被記錄到特定的文件——日志文件中（通常是/var/adm或/var/log目錄下的messages文件），特別重要的消息也會在用戶終端窗口上顯示出來。  
     syslog工具有兩個重要文件：syslogd和syslog.Conf
     它能接受訪問系統的日志信息并且根據 "/etc/syslog.conf" 配置文件中的指令處理這些信息。守護進程和內核提供了訪問系統的日志信息。因此，任何希望生成日志信息的程序都可以向 syslog 接口呼叫生成該信息。
   

3.2 syslogd守護進程

　　就象其它復雜的操作系統那樣，Linux也是由很多不同的子系統組成的。有些叫做daemon的程序一直在后臺運行（daemon：守護神之意。也就是說，他們"默默無聞"，不需要和用戶交互），處理一些象打印、發送郵件、建立Internet連接，等等日常工作。每一個子系統發出日志消息的時候都會給消息指定一個類型。  一個消息分成兩個部分：  "  設備（facility  ）"  和"  級別(level)"  。  "設備  "標識發出消息的子系統，可以把同一類型的消息組合在一起，  "級別  "表示消息的重要性，其范圍從  debug（最不重要）到  emerg（最重要），  facility和  level組合起來稱為  priority。（詳細解釋參照  5.3）  
 /usr/include/sys/syslog.h  中對此有相關的定義。  
    用戶看不到daemon程序，因為它們沒有窗口和用戶界面。但是，這些程序有時候也要給用戶傳遞一些信息。為了實現這個目的，就需要一個特殊的機制。syslogd就是daemon的一個很好的例子，它在后臺運行并且把消息從日志區轉移到日志文件中去。  
 函數接口  
#include <syslog.h>  
void openlog( char * <程序的名字>, int <選項>, int <facility>)  
其中，<選項>可以是以下值的OR組合：  
    LOG_CONS : 如果消息無法送到syslogd，直接輸出到系統console。  
    LOG_NDELAY : 立即打開到syslogd的連接，默認連接是在第一次寫入訊息時才打開的。  
    LOG_PERROR : 將消息也同時送到stderr 上  
    LOG_PID : 將PID記錄到每個消息中  
void syslog( int <priority>, char * <mesg>)  
其中，<priority>是facility和level的OR組合  
void closelog( void )  
一般只需要用syslog()函數，其他函數可以不用。  
   

3.3 syslog.conf

    這是一個非常重要的文件。位于"/etc/"目錄下。通知 syslogd 如何根據設備和信息重要級別來報告信息。
 該文件使用下面的形式：
 

facility.level    action

syslog.conf 的第一列facility.level用來指定日志功能和日志級別，中間用.隔開，可以使用*來匹配
所有的日志功能和日志級別。第二列action是消息的分發目標。

 空白行和以#開頭的行是注釋，可以忽略。
 Facility.level 字段也被稱做選擇域（seletor）。
n          facility 指定 syslog 功能，主要包括以下這些：
 

auth  由 pam_pwdb 報告的認證活動。

authpriv 包括特權信息如用戶名在內的認證活動

cron  與 cron 和 at 有關的信息。

daemon 與 inetd 守護進程有關的信息。

kern  內核信息，首先通過 klogd 傳遞。

lpr   與打印服務有關的信息。

mail  與電子郵件有關的信息

mark  syslog 內部功能用于生成時間戳

news  來自新聞服務器的信息

syslog  由 syslog 生成的信息

user   由用戶程序生成的信息

uucp   由 uucp 生成的信息

local0----local7   與自定義程序使用，例如使用 local5 做為 ssh 功能

*   通配符代表除了 mark 以外的所有功能

 level   級別，決定訊息的重要性。
  與每個功能對應的優先級是按一定順序排列的，emerg 是最高級，其次是 alert，依次類推。缺省時，在 /etc/syslog.conf 記錄中指定的級別為該級別和更高級別。如果希望使用確定的級別可以使用兩個運算符號！(不等)和=。
 例如：user.=info  表示告知 syslog 接受所有在 info 級別上的 user 功能信息。  
n          以下的等級重要性逐次遞減  : 
emerg           該系統不可用
 

alert            需要立即被修改的條件

crit             阻止某些工具或子系統功能實現的錯誤條件

err              阻止工具或某些子系統部分功能實現的錯誤條件

warning          預警信息

notice           具有重要性的普通條件

info             提供信息的消息

debug            不包含函數條件或問題的其他信息

none             沒有重要級，通常用于排錯

*                所有級別，除了none

n          action 字段為動作域，所表示的活動具有許多靈活性，特別是，可以使用名稱管道的作用是可以使 syslogd 生成后處理信息。
 syslog 主要支持以下活動：
 

file                      將消息追加到指定的文件尾

terminal 或 print         完全的串行或并行設備標志符

@host                     遠程的日志服務器

username                  將消息寫到指定的用戶

named pipe                指定使用 mkfifo 命令來創建的 FIFO 文件的絕對路徑。

*                         將消息寫到所有的用戶

     選擇域指明消息的類型和優先級；動作域指明syslogd接收到一個與選擇標準相匹配的消息時所執行的動作。每個選項是由設備和優先級組成。當指明一個優先級時，syslogd將紀錄一個擁有相同或更高優先級的消息。比如如果指明"crit"，則所有標為crit、alert和emerg的消息將被紀錄。每行的行動域指明當選擇域選擇了一個給定消息后應該把他發送到什么地方。  
 以下是一個實際站點的配置（syslog.conf）文件：
# Store critical stuff in critical
#
*.=crit;kern.none            /var/adm/critical
這個將把所有信息以優先權的crit保存在/var/adm/critical文件中，除了一些內核信息
# Kernel messages are first, stored in the kernel
# file, critical messages and higher ones also go
# to another host and to the console
#
kern.*                       /var/adm/kernel
kern.crit                    @finlandia
kern.crit                    /dev/console
kern.info;kern.!err          /var/adm/kernel-info
第一條代碼指引一些內核設備訪問文件/var/adm/kernel的信息。
第二條代碼直接引導所有擁有crit和更高優先權的內核信息訪問遠程主機。如果它們也存儲在遠程主機上，仍舊可以試著找到毀壞的原因。
第四行說明syslogd 保存了所有擁有info 到warning優先級的內核信息在/var/adm/kernel-info文件夾下。所有err和更高優先級的被排除在外。
# The tcp wrapper loggs with mail.info, we display
# all the connections on tty12
#
mail.=info                   /dev/tty12
這個引導所有使用mail.info (in source LOG_MAIL | LOG_INFO)的信息到/dev/tty12下，第12
個控制臺。例如tcpwrapper tcpd(8)載缺省時使用這個                     
# Store all mail concerning stuff in a file
mail.*;mail.!=info           /var/adm/mail
模式匹配了所有具有mail功能的信息，除了擁有info優先級的。他們將被保存在文件/var/adm/mail中
# Log all mail.info and news.info messages to info
#
mail,news.=info              /var/adm/info
提取所有具有mail.info 或news.info 功能優先級的信息存儲在文件/var/adm/info中
# Log info and notice messages to messages file
#
*.=info;*.=notice;\
        mail.none  /var/log/messages
使所有syslogd日志中具有info 或notice功能的信息存儲在文件/var/log/messages中，除了所有mail功能的信息
# Log info messages to messages file
#
*.=info;\
        mail,news.none       /var/log/messages
這個聲明使syslogd日志中所有具有info優先權的信息存儲在/var/log/messages文件中。但是一些有mail 或news功能的信息不能被存儲。
# Emergency messages will be displayed using wall
#
*.=emerg                     *
這行代碼告訴syslogd寫所有緊急信息到所有當前登陸用戶日志中。這個將被實現
# Messages of the priority alert will be directed
# to the operator
#
*.alert                      root,joey
*.*                          @finlandia
這個代碼指引所有具有alert 或更高級權限的信息到終端操作。
第二行代碼引導所有信息到叫做finlandia的遠程主機。這個代碼非常有用，特別是在所有syslog信息將被保存到一臺機器上的群集計算機。
   

3.4 klogd 守護進程

klog是一個從UNIX內核接受消息的設備 
klogd 守護進程獲得并記錄 Linux 內核信息。通常，syslogd 會記錄 klogd 傳來的所有信息。也就是說，klogd會讀取內核信息，并轉發到syslogd進程。然而，如果調用帶有 -f filename 變量的 klogd 時，klogd 就在 filename 中記錄所有信息，而不是傳給 syslogd。當指定另外一個文件進行日志記錄時，klogd 就向該文件中寫入所有級別或優先權。Klogd 中沒有和 /etc/syslog.conf 類似的配置文件。使用 klogd 而避免使用 syslogd 的好處在于可以查找大量錯誤。
 

日志管理及日志保護

    logrotate程序用來幫助用戶管理日志文件，它以自己的守護進程工作。logrotate周期性地旋轉日志文件，可以周期性地把每個日志文件重命名成一個備份名字，然后讓它的守護進程開始使用一個日志文件的新的拷貝。在/var/log/下產生如maillog、maillog.1、 maillog.2、boot.log.1、boot.log.2之類的文件。它由一個配置文件驅動，該文件是 /etc/logroatate.conf。
以下是logroatate.conf文件例子：
# see "man logrotate" for details
# rotate log files weekly
weekly
#以7天為一個周期
# keep 4 weeks worth of backlogs
rotate 4
#每隔4周備份日志文件
# send errors to root
errors root
#發生錯誤向root報告
# create new (empty) log files after rotating old ones
create
#轉完舊的日志文件就創建新的日志文件
# uncomment this if you want your log files compressed
#compress
#指定是否壓縮日志文件
# RPM packages drop log rotation information into this directory
include /etc/logrotate.d
# no packages own lastlog or wtmp -- we'll rotate them here
/var/log/wtmp {
    monthly
    create 0664 root utmp
    rotate 1
}
# system-specific logs may be configured here
 

    在網絡應用中，有一種保護日志的方式，在網絡中設定一臺秘密的syslog主機，把這臺主機的網卡設為混雜模式，用來監聽子網內所有的syslog包，這樣把所有需要傳送日志的主機配置為向一臺不存在的主機發送日志即可。這樣即使***攻陷了目標主機，也無法通過syslog.conf文件找到備份日志的主機，那只是一個不存在的主機。實際操作中還可以輔以交換機的配置，以確保syslog包可以被備份日志主機上的syslog進程接受到。比如把 syslog.conf中的傳送日志主機設為 @192.168.0.13，但實際網絡中不存在這個日志主機，實際可能是192.168.0.250或者其他主機正在接受syslog包。  

undefined

關于怎樣分析Linux日志系統就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。