blink解決一個flink分析痛點的示例分析

本篇文章給大家分享的是有關blink解決一個flink分析痛點的示例分析，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

今天也主要是測試調研一下blink。前面說了對于大數據框架，除了要理解底層的原理之外，還要掌握如何分析查看性能瓶頸，blink除了從底層多處進行優化之外，還優化了flink的 web ui，而且都有了比較大的提升。

關于blink的官方優化點說明，大家可以查看flink 的github blink 分支，里面的readme.md文檔。

https://github.com/apache/flink/tree/blink

首先，導入blink入idea

idea直接支持通過git上導入blink，方式是

跳出下面的窗口，在url欄輸入flink的地址

然后就是等待了，，，

導入成功之后，在右下角切換分支到blink

然后就可以編譯了，編譯之前呢，需要注釋掉pom.xml里代碼風格檢測的內容。然后執行

mvn clean package -DskipTests

編譯結束之后，會在build-target目錄下生成blink的安裝文件，然后你可以復制出來，僅僅想本地模式測試的話，可以直接，執行

bin/start-cluster.sh

啟動完成之后，瀏覽器輸入host:8081，即可登陸blink的web ui。

可以看到web ui的內容風格已經完全重構，而且細節非常豐富。

下面是官方給出的web 優化點：

我們在 Flink Runtime Web 的易用性與性能等多個方面進行了改進，從資源使用、作業調優、日志查詢等維度新增了大量功能，使得用戶可以更方便的對 Flink 作業進行運維。

資源使用：新增 Cluster、TaskManager 與 Job 三個級別的資源信息，資源的申請與使用情況一目了然。
作業調優：作業的拓撲關系及數據流向可以追溯至 Operator 級別，Vertex 增加 InQueue，OutQueue等多項指標，可以方便的追蹤數據的反壓、過濾及傾斜情況。
日志查詢：TaskManager 和 JobManager 的日志功能得到大幅度加強，從Job、Vertex、SubTask 等多個維度都可以關聯至對應日志，提供多日志文件訪問入口，以及分頁展示查詢和日志高亮功能。
交互優化：對頁面交互邏輯進行了整體優化，絕大部分關聯信息在單個頁面就可以完成查詢和比對工作，減少了大量不必要的跳轉。
性能提升：使用 Angular 7.0 進行了整體重構，頁面運行性能有了一倍以上的提升。在大數據量情況下也不會發生頁面假死或者卡頓情況。

日志管理

在這里浪尖主要想提的就是關于日志相關的監控，大家都知道flink日志只有taskmanager和jobmanager的，要是集群運行多任務的話就會導致日志分析很蛋疼，所以目前on yarn的情況都是單個任務。

blink的日志，給我們細分了文件，方便我們針對應用程序查看

運行兩個簡單的任務

bin/flink run examples/streaming/

bin/flink run examples/streaming/Kafka010Example.jar --input-topic test  --output-topic boo --bootstrap.servers mt-mdh.local:9093 --groupid test

查看taskmanager的日志，可以看到TaskManager 和 JobManager 的日志功能得到大幅度加強，從Job、Vertex、SubTask 等多個維度都可以關聯至對應日志，提供多日志文件訪問入口，以及分頁展示查詢和日志高亮功能。

當然這個日志文件名區分度還不是很高，主要要根據提交任務的主機，然后提交順序來查找：日志和程序之間的對應關系，但是已經大幅度提高了我們分析日志的能力了，因為原有的flink日志比較集中于taskmanager，那么就假如運行時間久，日志文件會越滾越大，運行任務多日志交叉，然后導致問題分析變的難度比較高。

以上就是blink解決一個flink分析痛點的示例分析，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。