使用prometheus怎么實現遠程存儲

使用prometheus怎么實現遠程存儲，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

實驗系統配置

1. mac 10.14

2. docker

  Engine:
  Version:          18.09.2
  API version:      1.39 (minimum version 1.12)
  Go version:       go1.10.6
  Git commit:       6247962
  Built:            Sun Feb 10 04:13:06 2019
  OS/Arch:          linux/amd64
  Experimental:     false

3. 在docker部署偽分布式kafka集群

• 新建名為：metrics的topic

[Mac 使用 docker 搭建 kafka 集群 + Zookeeper + kafka-manager](https://learnku.com/articles/19221)


docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=localhost --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest  

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.3.0.170:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://1localhost:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka
docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=10.3.0.170:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka
docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=10.3.0.170:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic metrics

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic partopic

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic metrics

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic metrics --from-beginning

遠程存儲

Prometheus的本地存儲設計可以減少其自身運維和管理的復雜度，同時能夠滿足大部分用戶監控規模的需求。但是本地存儲也意味著Prometheus無法持久化數據，無法存儲大量歷史數據，同時也無法靈活擴展和遷移。

為了保持Prometheus的簡單性，Prometheus并沒有嘗試在自身中解決以上問題，而是通過定義兩個標準接口(remote_write/remote_read)，讓用戶可以基于這兩個接口對接將數據保存到任意第三方的存儲服務中，這種方式在Promthues中稱為Remote Storage。

遠程存儲官方文檔

本文主要講解遠程存儲至kafka的過程。

該adapter的github地址

操作

步驟一

1. 將github代碼拉下來，并使用goland打開進行編譯，此步十分麻煩且重要。

2. mac上安裝go及goland

3. 在goland上對源碼進行編譯，其中有很多包下載不了，特別是/golang.org/x/...類型的包，原因是這些包被墻了，所以需要增加代理才可以。直接執行

$ export http_proxy=socks5://127.0.0.1:1080		// 梯子的本地端口
$ export https_proxy=$http_proxy
$ export GOPROXY=https://goproxy.io

問題一：解決golang.org/x包無法下載的問題

問題二：解決golang grpc安裝問題

問題三

$ go test
# pkg-config –cflags rdkafka 
Package rdkafka was not found in the pkg-config search path. 
Perhaps you should add the directory containing `rdkafka.pc’ 
to the PKG_CONFIG_PATH environment variable 
No package ‘rdkafka’ found 
pkg-config: exit status 1

result

1. git clone https://github.com/edenhill/librdkafka.git
cd librdkafka
./configure
make
make install

步驟二

1. 先修改源碼config.go中的kafkaBrokerList為本地kafka的地址。

2. 對prometheus-kafka-adapter源碼進行編譯：

go test
go build

沒有問題之后，在源碼中會出現一個名為prometheus-kafka-adapter的可執行文件，然后執行。 3. 修改prometheus的配置文件prometheus.yml中增加：

remote_write:
  - url: "http://<kafka.ip>:8080/receive"

4. kafka那邊進行消費，就可以看到監控數據了。

prometheus寫influxdb/opentsdb

系統配置

1. mac 10.14

2. docker

  Engine:
  Version:          18.09.2
  API version:      1.39 (minimum version 1.12)
  Go version:       go1.10.6
  Git commit:       6247962
  Built:            Sun Feb 10 04:13:06 2019
  OS/Arch:          linux/amd64
  Experimental:     false

3. 在docker部署influxdb

執行

1. prometheus 使用influxdb 做永久存儲

2. Prometheus高可用(2)：理解遠端存儲

3. Prometheus 遠程讀寫 Influxdb

編譯(難點)

在父目錄下執行：

go build ./documentation/examples/remote_storage/remote_storage_adapter/

關于使用prometheus怎么實現遠程存儲問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。