Fluentd中如何解析配置項

Fluentd的某些插件支持<parse>配置項，用來自定義對輸入數據的解析方法。

比如，對于一般的應用程序，輸入給Fluentd的就是一行行的文本，開發者可以通過配置將文本解析成具有實際意義的JSON對象，方便后續處理。

1. parse概覽
   parse配置項可以使用在<source>、<match>或<filter>中。如果使用的插件支持解析器特性，parse配置項就會生效。

   <source>  @type tail  # parameters for input plugin  <parse>    # parse section parameters  </parse></source>

   這里，對于tail的輸入，需要由parse指定的解析器來解析。

   解析器插件類型
   

2. <parse>配置項需要通過@type參數來指定解析器的類型。Fluentd內核綁定了很多有用的解析器插件，也可以根據需要安裝其他第三方解析器。

   <parse>  @type apache2</parse>

    

   這里，@type指定使用apache2這個解析器來解析輸入日志。

   
   

   
   

3. parse參數說明
1. @type
   Fluentd內置的解析器包含：regexp、apache2、apache_error、nginx、syslog、csv、tsv、ltsv、json、multiline、none    
   
2. 可選參數，這些參數的默認值會隨使用的解析器不同而改變，具體使用時可參考相關解析器的使用說明。
1. types：用于轉換字段的數據類型，支持的數據類型為：string、bool、integer、float、time

   types user_id:integer,paid:bool,paid_usd_amount:float

      

• 
  

2. time_key：指定事件time屬性使用的字段，若事件不含此字段，將使用當前時間
3. keep_time_key：true則保留record中的time字段，默認false
4. timeout：設置解析處理超時時間，主要用于檢測錯誤的正則匹配      
   
3. 對time的進一步說明
   如果把record的某個字段解析為事件的time，則需要說明如何去解析這個“時間字段”。可通過以下參數進行說明。
1. time_type：時間字段使用的時間格式，支持float、unixtime和string格式。

   float: seconds from Epoch + nano seconds (e.g. 1510544836.154709804)unixtime: seconds from Epoch (e.g. 1510544815)string: use format specified by time_format, local time or time zone

2. time_format：用以說明time_type為string時的時間格式
3. localtime：true則使用local time作為事件的time
4. utc：true則使用UTC作為事件的time，和上邊的localtime是互斥配置
5. timezone：時區格式