Go語言11-日志系統客戶端相關組件

tailf 組件

查看log日志，會經常使用到tail -f命令實時跟蹤文件變化。也可以用Go語言的代碼來實現同樣的功能，這樣就可以直接用到項目中去了。這里不用重復造輪子，有一個第三方的庫已經實現了這個功能：

import "github.com/hpcloud/tail"

HP團隊出的tail庫，常用于日志收集。這里主要就是看看如何使用。

示例代碼

package main

import (
    "os"
    "fmt"
    "github.com/hpcloud/tail"
    "time"
)

func main () {
    filename := "tailf_test.txt"  // 指定查看哪個文件
    tails, err := tail.TailFile(filename, tail.Config{
        // 下面的2行配置，相當于命令 tail -F 的效果
        // 追蹤文件并保持重試，即該文件被刪除或改名后，如果再次創建相同的文件名，會繼續追蹤。
        ReOpen: true,
        Follow: true,

        Location: &tail.SeekInfo{Offset: 0, Whence: os.SEEK_END},  // 從哪個位置開始讀，這里的設置是從文件結尾
        MustExist: false,  // 如果文件不存在，會失敗。這是設為fales，允許文件不存在，等文件一創建就會開始追蹤
        Poll: true,  // 設為true，檢查文件的變化。false是通過inotify來檢查
    })
    if err != nil {
        fmt.Fprintf(os.Stderr, "tail file: %s , ERROR: %v\n", tails.Filename, err)
    }
    for {
        msg, ok := <-tails.Lines
        if ! ok {
            fmt.Fprintf(os.Stderr, "文件不存在，嘗試重新打開文件: %s", tails.Filename)
            time.Sleep(time.Millisecond * 1000)
            continue
        }
        fmt.Println("msg:", msg.Text)
        fmt.Println("time:", msg.Time)
        // windows系統里的換行是\r\n，輸出的時候可能只去掉了\n，導致字符串會以\r結尾
        // 如果以\r結尾，后面還有字符串的話，就會從頭開始把之前的內容覆蓋掉
        fmt.Printf("%q\n", msg.Text)  // 輸出有問題的原因是這樣的，這里可以看出來
        // 可以手動把 msg.Text 最后的 \r 去掉，即使沒有，也不影響
        fmt.Printf("msg: %s time: %s\n", strings.TrimRight(msg.Text, "\r"), msg.Time)
    }
}

這里最后踩了個小坑，應該是windows系統才會有的問題。

配置文件庫

解析配置文件使用的第三方庫是屬于beego框架里的一個模塊。

beego 框架

beego是一個快速開發Go應用的HTTP框架，他可以用來快速開發API、Web及后端服務等各種應用，是一個 RESTful的框架。
安裝：

go get github.com/astaxie/beego

beego是基于八大獨立的模塊構建的，是一個高度解耦的框架：

• cache ： 做緩存
• config ： 解析各種格式的配置文件
• context
• httplibs
• logs ： 記錄操作信息
• orm
• session
• toolbox

接下來只是單獨把某個模塊拿來使用，不學習框架的使用。安裝的話只能完整的全部裝上了。

使用示例

基本用法：
配置文件如下：

[server]
host = "1.1.1.1"
port = 23

示例代碼：

package main

import (
    "github.com/astaxie/beego/config"
    "fmt"
    "os"
)

func main() {
    conf, err := config.NewConfig("ini", "test.conf")  // 配置文件格式和文件路徑
    if err != nil {
        fmt.Fprintf(os.Stderr, "New Confit ERROR: %v\n", err)
        return
    }
    port, err := conf.Int("server::port")  // 獲取數值型數據可能會返回錯誤
    if err != nil {
        fmt.Fprintf(os.Stderr, "get conf ERROR: %v\n", err)
        return
    }
    fmt.Println("port:", port)
    host := conf.String("server::host")  // 獲取字符串數據，不會返回錯誤，讀不到會返回空字符串
    fmt.Println("host:", host)
    ip := conf.String("server::ip")  // 讀不到就會返回空
    fmt.Println("ip:", ip)
    ip2 := conf.DefaultString("server::ip", "1.1.1.2")  // 代碼層面指定的默認值
    fmt.Println("ip2", ip2)
}

默認值
上面的默認值是在代碼層面實現的。但是ini配置本身是支持默認值的，定義的時候可以寫在最外面，也可以寫在[default] 里面，效果都是一樣的：

key1 = vale1

[default]
key2 = value2

[server]
host = "1.1.1.1"
port = 23
key1 = v1

示例代碼：

package main

import (
    "github.com/astaxie/beego/config"
    "fmt"
    "os"
)

func main() {
    conf, err := config.NewConfig("ini", "test.conf")  // 配置文件格式和文件路徑
    if err != nil {
        fmt.Fprintf(os.Stderr, "New Confit ERROR: %v\n", err)
        return
    }
    server, err := conf.GetSection("server")  // 可以獲取到所有的參數，返回map
    if err != nil {
        fmt.Fprintf(os.Stderr, "get section ERROR: %v\n", err)
    }
    fmt.Println(server)
    df, err := conf.GetSection("default")  // default里的以及最外層的參數都會解析存到這個map里
    if err != nil {
        fmt.Fprintf(os.Stderr, "get section ERROR: %v\n", err)
    }
    fmt.Println(df)

    key1a, key1b := conf.String("key1"), conf.String("default::key1")  //  前面是否加上 default:： 都是一樣的
    key2 := conf.String("key2")
    fmt.Println(key1a, key1b, key2)
    // 解析獲取默認值可能就是這么做的吧，網上沒有找到相關的示例
    k1 := conf.DefaultString("server::key1", conf.String("key1"))
    k2 := conf.DefaultString("server::key2", conf.String("key2"))
    fmt.Println(k1, k2)
}

日志庫

這個還是beego框架里的一個組件

基本使用

先把log輸出到終端：

package main

import (
    "github.com/astaxie/beego/logs"
)

func main() {
    logs.SetLogger(logs.AdapterConsole)  // 設置日志輸出到哪里, 參數是個常數。這里的效果是輸出到終端
    logs.SetLevel(logs.LevelInfo)  // 設置日志等級
    logs.Debug("DEBUG msg")  // 這條等級不夠，不會顯示
    logs.Info("INFO msg")
}

這里使用了console引擎，就是輸出到終端，底層是到os.Stdout。

輸出到文件

要把log輸出到文件，只需要設置一個新的file引擎：

package main

import (
    "github.com/astaxie/beego/logs"
)

func main() {
    logs.SetLogger(logs.AdapterFile, `{"filename":"test.log","level":6}`)  // logs.LevelInfo = 6
    logs.SetLogger(logs.AdapterConsole, `{"level":4,"?color":true}`)  // logs.LevelWarning = 4
    logs.SetLevel(logs.LevelInfo)
    logs.Info("INFO msg")
    logs.Warn("WARN msg")
}

SetLogger接收2個參數。
第一個參數就是引擎名，這里用到了2個 "console" 和 "file" 。上面的代碼里寫的是常量名。
第二個參數是可選參數（上個例子沒有用，這里都用上了），用來表示配置信息，所有配置寫在一個json字符串里。

更多引擎和參數

這里可參考官網的引擎配置設置：
https://beego.me/docs/module/logs.md

這里只列出2個
console 主要參數說明：

• level 輸出的日志級別
• color 是否開啟打印日志彩色打印(需環境支持彩色輸出)

file 主要參數說明：

• filename 保存的文件名
• maxlines 每個文件保存的最大行數，默認值 1000000
• maxsize 每個文件保存的最大尺寸，默認值是 1 << 28, //256 MB
• daily 是否按照每天 logrotate，默認是 true
• maxdays 文件最多保存多少天，默認保存 7 天
• rotate 是否開啟 logrotate，默認是 true
• level 日志保存的時候的級別，默認是 Trace 級別
• perm 日志文件權限

所有的引擎有這些，左邊是常量，右邊是對應的名字：

const (
    AdapterConsole   = "console"
    AdapterFile      = "file"
    AdapterMultiFile = "multifile"
    AdapterMail      = "smtp"
    AdapterConn      = "conn"
    AdapterEs        = "es"
    AdapterJianLiao  = "jianliao"
    AdapterSlack     = "slack"
    AdapterAliLS     = "alils"
)

注冊引擎名

所有的引擎，都會自動進行注冊。具體就是寫在引擎的代碼的init方法里：

// beego/logs/console.go
func init() {
    Register(AdapterConsole, NewConsole)
}

不過很多太多方法都是小寫的，導致接口沒有暴露出來用不了。只有 console 和 conn 引擎可以注冊。

package main

import (
    "github.com/astaxie/beego/logs"
    "encoding/json"
    "fmt"
    "os"
)

func main() {
    logs.Register("new", logs.NewConsole)
    config := make(map[string]interface{})  // 先定義一個map來存放配置參數
    config["level"] = 4  // LevelWarning = 4
    config["color"] = true  // map的value可能是字符串、×××或bool等不同的類型，所以定義的時候類型是空接口
    configStr, err := json.Marshal(config)
    if err != nil {
        fmt.Fprintf(os.Stderr, "json Marshal ERROR %v\n", err)
        return
    }
    logs.SetLogger("new", string(configStr))  // 用map來設置參數，到這里再轉成json字符串
    logs.SetLogger(logs.AdapterConsole)  // 再設置一個默認的console引擎
    logs.Info("INFO msg")  // 滿足1個logger
    logs.Error("ERROR msg")  // 兩個logger都會輸出這條
}

使用map來設置配置信息
配置信息是要傳遞json字符串進去的，但是人工拼接josn也是很不友好的。所以先把配置寫在map里，然后再序列化成json傳遞給函數。并且map的value是空接口，因為配置可能是字符串、整數或布爾等不同類型。
無法注冊file引擎
注冊不了新的file引擎貌似沒啥用。源碼沒有把對應的方法暴露出來應該就沒有辦法了，就是 func newFileWriter() Logger{} 這個函數，函數名是小寫的。只能去改源碼，還不方便把上面的函數名改掉，因為在別處還有調用這個方法。所以最方便的修改方法是給原來的小寫的函數名定義一個大寫的別名：

func newFileWriter() Logger {
    // 省略函數體部分
}

var NewFileWriter func() Logger = newFileWriter

如果代碼中有這種需要開放接口，又不想修改每一個被應用的位置，可以用上面的例子來把接口變成可導出的。

多文件的正確用法
沒有提供注冊file引擎的接口，是因為輸出到多個文件還提供了另外一個multifile的引擎。之前只把注意力集中到了file引擎上，沒有發現還有其他的可用的引擎。
雖然multifile底層也是通過調用file來實現的，是在file的基礎上又做了一些封裝。所以如果需要輸出到多個文件，應該使用提供的multifile來實現。