怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺

這篇文章主要介紹“怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”，在日常操作中，相信很多人在怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

ELK平臺介紹

日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。

通常，日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器，你還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務器上的日志收集匯總。

集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。

開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站：https://www.elastic.co/products

1. Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

2. Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。

3. Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。

如圖：Logstash收集AppServer產生的Log，并存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數據生成圖表，再返回給Browser。

ELK平臺搭建

Elasticsearch 安裝

1. 點擊下載，

2. 解壓zip或者tar包等

3. 在bin/elasticsearch (windows版本是bin\elasticsearch.bat)

4. 請求 http://localhost:9200/ 能看到帶版本的返回值即可

Logstash 安裝

1. 點擊下載

2. 解壓zip或者tar包等

3. 在bin目錄創建一個 logstash.conf文件 內容如下

    input {
      tcp {
       port => 4567 //項目日志配置文件中寫的端口
       type => "logs" 
     }
    }
   
    filter {
    }
    output {
            stdout{codec =>rubydebug}
       elasticsearch {
       hosts => ["localhost:9200"] // Elasticsearch 的ip 端口
      }
    }

   
   

4. bin/logstash -f logstash.conf 即可

Kibana 安裝

1. 點擊下載

2. 解壓zip或者tar包等

3. vi config/kibana.yml 文件 修改 elasticsearch.url = Elasticsearch 的ip 端口 如Elasticsearch 的ip 端口

4. 執行bin/kibana （windows執行bin\kibana.bat）

5. 瀏覽器打開http://localhost:5601

驗證

1. logback.xml 配置

2. 測試類

3. Logstash 日志

4. Kibana 顯示

到此，關于“怎么用ElasticSearch, Logstash, Kibana搭建實時日志分析平臺”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！