溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關如何部署Apache NiFi Poc環境，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
Apache Nifi是一個易用、強大、可靠的數據處理和分發系統。
主要功能：數據流程管理，設計數據流程、執行數據流程、監控數據流程執行。
一個數據流程是一個有向圖包含：數據源節點、數據轉化和協調節點、以及數據輸出節點。
在NiFi中數據流程圖中的節點被稱為Processor，流程圖中的邊稱為connection，邊是有方向的，在流程圖中流動的數據稱為FlowFile。FlowFile被數據源類型的Processor創建，沿著connection流動，被數據轉化類型的Processor被轉化（拆開、合并、轉化為新的FlowFile、被復制或者被遺棄），被協調類型Processor調整流向，最后被Sink類型的Processor發送到外部節點。
NiFi在復雜的多系統企業環境中能夠發揮非常大的作用。
Apache NiFi比較不挑操作系統，只要能安裝JDK，能執行java命令就行。oracle jdk和open jdk都可，版本要求為8或11。安裝好jdk執行javac看看裝好沒有。
laofeng@192 ~ % javac --version javac 11.0.9
如果部署Apache NiFi偽基群則需要預先安裝Docker Desktop。
Apache NiFi 安裝也比較簡單，只要下載一個二進制包，解壓了就可以執行。二進制包有兩種：tag.gz、zip，建議Mac、linux用戶下載tar.gz,windows用戶下載zip包。Apache NiFi下載地址：http://nifi.apache.org/download.html 如果下載速度沒有達到數MB/秒，建議換一個速度快的鏡像地址，畢竟安裝包的size有1.5G。
解壓后的目錄結構如下：
在linux和mac下使用bin/nifi.sh啟動，windows下使用bin/nifi.bat。
# 先執行一下試試，輸出的是usage，可以看到啟動、停止、執行、重啟、狀態、dump、診斷、安裝（為系統服務）、無狀態（？什么意思）
laofeng@192 nifi-1.12.1 % bin/nifi.sh
Usage nifi {start|stop|run|restart|status|dump|diagnostics|install|stateless}
# 執行啟動命令，刪除了“java home”和“nifi home”，啟動配置文件為“conf/bootstrap.conf”
laofeng@192 nifi-1.12.1 % bin/nifi.sh start
Java home: /Library/Java/JavaVirtualMachines/jdk-11.0.9.jdk/Contents/Home
NiFi home: /Users/laofeng/Downloads/apps/nifi-1.12.1
Bootstrap Config File: /Users/laofeng/Downloads/apps/nifi-1.12.1/conf/bootstrap.conf
WARNING: An illegal reflective access operation has occurred
WARNING: Illegal reflective access by org.apache.nifi.bootstrap.util.OSUtils (file:/Users/laofeng/Downloads/apps/nifi-1.12.1/lib/bootstrap/nifi-bootstrap-1.12.1.jar) to method java.lang.ProcessImpl.pid()
WARNING: Please consider reporting this to the maintainers of org.apache.nifi.bootstrap.util.OSUtils
WARNING: Use --illegal-access=warn to enable warnings of further illegal reflective access operations
WARNING: All illegal access operations will be denied in a future release
# 查看一下狀態，輸出了監聽端口號和進程id “listening to Bootstrap on port 65173, PID=16224”
laofeng@192 nifi-1.12.1 % bin/nifi.sh status
Java home: /Library/Java/JavaVirtualMachines/jdk-11.0.9.jdk/Contents/Home
NiFi home: /Users/laofeng/Downloads/apps/nifi-1.12.1
Bootstrap Config File: /Users/laofeng/Downloads/apps/nifi-1.12.1/conf/bootstrap.conf
2020-11-15 20:40:05,575 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 65173, PID=16224
# 使用jps命令，發現了“NIFI”和“RunNiFi”兩個相關進程
laofeng@192 nifi-1.12.1 % jps
16224 NiFi
16222 RunNiFi使用瀏覽器訪問：http://127.0.0.1:8080/nifi 能看到如下界面，基本確認啟動成功。
NiFi Cluster采用無leader模式，即在部署時所有集群節點都是相同的配置沒有主節點和從節點的區別。每個節點都有同樣的數據流程定義，執行相同的任務，但處理不同的數據。 NiFi使用zooKeeper做為協調服務。集群啟動時，一個節點被選出做為協調節點，其他節點向它發送心跳信息和狀態報告。當新節點選擇加入集群時，新節點必須首先連接到集群協調節點，以下載最新的數據流程。如果集群協調節點確定允許節點加入，則當前數據流程將提供給該節點，并且該節點能夠加入集群，但新節點的數據流程副本與集群協調節點提供的副本必須匹配。如果新節點的數據流程配置版本與集群協調節點的版本不同，則新節點將被拒絕加入集群。
Coordinator（協調器）：NiFi集群協調器是NiFi集群中的節點，它負責執行任務來管理集群中允許哪些節點，并向新加入的節點提供最新的流。當數據流管理器管理集群中的數據流時，它們能夠通過集群中任何節點的用戶界面來進行管理。然后，所做的任何更改都將復制到群集中的所有節點。
Nodes（節點）：每個集群由一個或多個節點組成。這些節點進行實際的數據處理。
Primary Node（主節點）: 每個集群都有一個主節點。在這個節點上可以運行“獨立處理器”。ZooKeeper用于選舉主節點。如果該節點由于任何原因與集群斷開連接，將自動選舉一個新的主節點。用戶可以通過查看用戶界面的集群管理頁面來確定當前哪個節點是主節點。
Isolated Processors（獨立處理器）:在NiFi集群中，相同的數據流程在所有節點上運行。因此，數據流程中的每個組件都在所有節點上運行。然而，在某些情況下，DFM可能不希望一些處理器運行在所有節點上。最常見的情況是使用處理器與外部服務通信時使用的協議限制。例如，GetSFTP處理器從遠程目錄中提取。如果GetSFTP處理器在集群中的所有節點上運行，并同時嘗試從同一個遠程目錄進行拉取，則可能存在競爭問題。因此，DFM可以將主節點上的GetSFTP配置為獨立運行，這意味著它只在主節點上運行。通過正確的數據流配置，它可以拉入數據并在集群中的其余節點之間進行負載平衡。請注意，雖然這個特性存在，但是簡單地使用一個獨立的NiFi實例來拉取數據并將其提供給集群也是非常常見的。這取決于可用的資源以及管理員決定如何配置集群。
Heartbeats（心跳）:節點通過“Heartbeats”將它們的運行狀況和狀態傳遞給當前的集群協調器，它讓協調器知道它們仍然連接到集群并且工作正常。默認情況下，節點每5秒發出一次心跳，如果集群協調器在40秒（=5秒*8）內沒有接收到來自節點的心跳信號，則會由于“缺少心跳”而斷開節點的連接。這兩個參數可以在node.properties文件中配置。集群協調器斷開節點連接的原因是因為協調器需要確保集群中的每個節點都是同步的，并且如果沒有定期接收到某個節點的消息，那么協調器就不能確定它仍然與集群的其余部分保持同步。如果在40秒后，節點確實發送了一個新的心跳信號，協調器將自動請求節點重新加入集群，以包括對節點流的重新驗證。在用戶界面中向DFM報告由于缺少心跳而導致的斷開連接和接收到心跳后的重新連接。
這里實現偽集群的方式是：使用docker-compose啟動多個nifi的container，組成一個運行在docker中的NiFi cluster。忽略Docker Destop的安裝過程。
version: "3" services: zookeeper: hostname: zookeeper container_name: zookeeper image: 'bitnami/zookeeper:latest' environment: - ALLOW_ANONYMOUS_LOGIN=yes nifi: image: "apache/nifi:1.12.1" ports: - 8080 # Unsecured HTTP Web Port environment: - NIFI_WEB_HTTP_PORT=8080 - NIFI_CLUSTER_IS_NODE=true - NIFI_CLUSTER_NODE_PROTOCOL_PORT=8082 - NIFI_ZK_CONNECT_STRING=zookeeper:2181 - NIFI_ELECTION_MAX_WAIT=1 min - NIFI_HOME=/opt/nifi/nifi-current - NIFI_LOG_DIR=/opt/nifi/nifi-current/logs - NIFI_TOOLKIT_HOME=/opt/nifi/nifi-toolkit-current - NIFI_PID_DIR=/opt/nifi/nifi-current/run - NIFI_BASE_DIR=/opt/nifi
將以上代碼保存為“docker-compose.yml”。由yml文件細節看，使用了兩個鏡像：bitnami/zookeeper:latest和apache/nifi:1.12.1。
"apache/nifi:1.12.1"鏡像使用的是jdk版本為“openjdk8”
注意執行命令的目錄和保存“docker-compose.yml”必須是同一個目錄。
#啟動三個節點的NiFi集群，第一次啟動需要下載鏡像，要等一段時間。 # 第二次啟會非常快 laofeng@192 nifi-1.12.1 % docker-compose up --scale nifi=3 -d #開始下載鏡像 Pulling zookeeper (bitnami/zookeeper:latest)... latest: Pulling from bitnami/zookeeper 58212c1109c5: Pull complete 081a2ae8dc51: Pull complete f5ff4112905d: Pull complete 35864a4b7faf: Pull complete cdcc88215c01: Pull complete 94a860965551: Pull complete 7b37ce5d991a: Pull complete 9b0fd0c439c8: Pull complete 79ae9cc9ceef: Pull complete f587456f2eac: Pull complete 215bcd582847: Pull complete c3bbf763f965: Pull complete 96583be231d1: Pull complete Digest: sha256:0f278b73b82ec8910168f09343b8dc5405152482d2fac1f26473ffc12564fafa Status: Downloaded newer image for bitnami/zookeeper:latest Pulling nifi (apache/nifi:1.12.1)... 1.12.1: Pulling from apache/nifi d6ff36c9ec48: Pulling fs layer d6ff36c9ec48: Pull complete c958d65b3090: Pull complete edaf0a6b092f: Pull complete ffba832277c8: Pull complete 9687742a10f9: Pull complete 438df03a4d78: Pull complete b428ea9845bb: Pull complete e97cefb1594a: Pull complete 1ea915e95f07: Pull complete b988f1230121: Pull complete 066b86f87d5a: Pull complete 11325722f405: Pull complete Digest: sha256:bf7576ab7ad0bfe38c86be5baa47229d1644287984034dc9d5ff4801c5827115 Status: Downloaded newer image for apache/nifi:1.12.1 # 啟動容器 Creating nifi-1121_nifi_1 ... done Creating nifi-1121_nifi_2 ... done Creating nifi-1121_nifi_3 ... done Creating zookeeper ... done # 至此啟動完成
使用docker ps命令查看容器運行狀況
laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32770->8080/tcp nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" 7 minutes ago Up 7 minutes 2181/tcp, 2888/tcp, 3888/tcp, 8080/tcp zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32769->8080/tcp nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" 7 minutes ago Up 7 minutes 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32768->8080/tcp nifi-1121_nifi_1
根據PS命令的輸出，看到有四個活躍容器：zookeeper、nifi-1121_nifi_1、nifi-1121_nifi_2、nifi-1121_nifi_3。
有三個端口映射到了宿主機：0.0.0.0:32770->8080/tcp（nifi-1121_nifi_2），0.0.0.0:32769->8080/tcp（nifi-1121_nifi_3），0.0.0.0:32768->8080/tcp（nifi-1121_nifi_1）。
nifi集群中每個節點都可做為WebUI的入口，使用瀏覽器訪問其中一個節點http://localhost:32770/nifi.
注意：nifi容器8080端口映射到主機的端口是隨機，不同的宿主機，每次啟動都不同，需要使用
docker ps查看具體映射端口號。
點擊菜單
彈出菜單
集群狀態
cluster-summary, 集群概況
nifi get-node , 獲取單個節點信息
nifi get-nodes，獲取節點列表
nifi connect-node，連接到節點
nifi disconnect-node，退出節點
nifi offload-node，有集群中離線節點
nifi delete-node，由集群中刪除節點
#進入容器shell laofeng@192 nifi-1.12.1 % docker exec -it c4c02b6415eb /bin/bash nifi@c4c02b6415eb:/opt/nifi/nifi-current$ cd /opt/nifi/nifi-toolkit-1.12.1 nifi@c4c02b6415eb:/opt/nifi/nifi-toolkit-1.12.1$ bin/cli.sh _ ___ _ Apache (_) .' ..](_) , _ .--. __ _| |_ __ )\ [ `.-. | [ |'-| |-'[ | / \ | | | | | | | | | | ' ' [___||__][___][___] [___]', ,' `' CLI v1.12.1 Type 'help' to see a list of available commands, use tab to auto-complete. Session loaded from /home/nifi/.nifi-cli.config #集群概況 #> nifi cluster-summary Total node count: 3 Connected node count: 3 Clustered: true Connected to cluster: true # 獲取節點列表 #> nifi get-nodes # Node ID Node Address API Port Node Status - ------------------------------------ ------------ -------- ----------- 0 8dc6c433-68bc-4839-b49b-a8d7710b7b34 c4c02b6415eb 8080 CONNECTED 1 a30e4804-7136-4f68-a66b-f5f3b764d7f5 6b0974257ea3 8080 CONNECTED 2 184fa9f3-0595-4ab7-b07c-ddfd0b011956 058e826876e0 8080 CONNECTED # 返回一個節點的狀態，與節點列表命令相比并沒有額外的信息 #> nifi get-node --nifiNodeId 8dc6c433-68bc-4839-b49b-a8d7710b7b34 Node ID: 8dc6c433-68bc-4839-b49b-a8d7710b7b34 Node Address: c4c02b6415eb API Port: 8080 Node Status:CONNECTED~
使用docker-compose stop命令可以停止構成nifi的集群容器運行，但是容器會保留且處于不活躍的狀態，之后可以隨時使用docker-compose start命令將集群恢復運行。
必須在docker-compose.yml文件路徑下，執行命令。
停止
laofeng@192 nifi-1.12.1 % docker-compose stop Stopping nifi-1121_nifi_2 ... done Stopping zookeeper ... done Stopping nifi-1121_nifi_3 ... done Stopping nifi-1121_nifi_1 ... done
查看容器
# 使用 docker ps，已經沒有活躍容器 laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES # 查看所有容器，包括停止的容器，發現nifi集群的四個容器還在。 laofeng@192 nifi-1.12.1 % docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" About an hour ago Exited (143) 5 minutes ago zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Exited (137) 5 minutes ago nifi-1121_nifi_1
恢復NiFi級群
# 執行docker-compose start，因為不需要創建容器和虛擬網絡，啟動速度比較快 laofeng@192 nifi-1.12.1 % docker-compose start Starting zookeeper ... done Starting nifi ... done laofeng@192 nifi-1.12.1 % docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 6b0974257ea3 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 12 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32771->8080/tcp nifi-1121_nifi_2 19a9fbc4ec11 bitnami/zookeeper:latest "/opt/bitnami/script…" About an hour ago Up 12 seconds 2181/tcp, 2888/tcp, 3888/tcp, 8080/tcp zookeeper 058e826876e0 apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 10 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32772->8080/tcp nifi-1121_nifi_3 c4c02b6415eb apache/nifi:1.12.1 "../scripts/start.sh" About an hour ago Up 9 seconds 8000/tcp, 8443/tcp, 10000/tcp, 0.0.0.0:32773->8080/tcp nifi-1121_nifi_1
停止nifi集群的運行并刪除容器，刪除虛擬網絡。
laofeng@192 nifi-1.12.1 % docker-compose down Stopping nifi-1121_nifi_2 ... done Stopping zookeeper ... done Stopping nifi-1121_nifi_3 ... done Stopping nifi-1121_nifi_1 ... done Removing nifi-1121_nifi_2 ... done Removing zookeeper ... done Removing nifi-1121_nifi_3 ... done Removing nifi-1121_nifi_1 ... done Removing network nifi-1121_default
關于“如何部署Apache NiFi Poc環境”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
