Flink的時間特性有哪些

本篇內容主要講解“Flink的時間特性有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Flink的時間特性有哪些”吧!

Flink DataStream程序的第一部分通常設置基本時間特性。

該設置定義了數據流源的行為方式（例如，它們是否將分配時間戳），以及像KeyedStream.timeWindow(Time.seconds(30))這樣的窗口操作應該使用什么時間概念。

Flink在流處理程序中支持不同的時間概念。

ProcessingTime

默認，無需指定

是指執行相應操作的機器的系統時間。
當流處理程序基于處理時間運行時，所有基于時間的操作（如時間窗口）將使用運行相應運算符的機器的系統時鐘。 每小時處理時間窗口將包括在系統時鐘指示整個小時之間到達特定運算符的所有記錄。 例如，如果應用程序在上午9:15開始運行，則第一個每小時處理時間窗口將包括在上午9:15到10:00之間處理的事件，下一個窗口將包括在上午10:00到11:00之間處理的事件，以此類推。
處理時間是最簡單的時間概念，不需要流和機器之間的協調。 它提供最佳性能和最低延遲。 但是，在分布式和異步環境中，處理時間不提供確定性，因為它容易受到記錄到達系統的速度（例如從消息隊列），記錄在系統內的運算符之間流動的速度的影響，以及停電（計劃或其他）。

EventTime

事件時間，是每個事件在其生產設備上發生的時間。

通俗理解就是Flink接收的數據中某個字段指定的時間，如接收的Map對象，里面有個eventtime字段或者有個createdate字段；

由于系統不知道具體哪一個是表示EventTime，所以需要業務寫代碼的時候指定好。

Flink中用于衡量事件時間進度的機制是水印。 水印作為數據流的一部分流動并帶有時間戳t。 Watermark(t)聲明事件時間已到達該流中的時間t，這意味著不應該有來自流的具有時間戳t’<= t的元素（即，具有更早或等于水印的時間戳的事件）。

此時間通常在進入Flink之前嵌入記錄中，并且可以從每個記錄中提取該事件時間戳。 在事件時間，時間的進展取決于數據，而不是任何時鐘。 事件時間程序必須指定如何生成事件時間水印，這是表示事件時間進度的機制。 該水印機制在下面的后面部分中描述。

在一個完美的世界中，事件時間處理將產生完全一致和確定的結果，無論事件何時到達或其它們的順序。 但是，除非事件已知按順序到達（按時間戳），否則事件時間處理會在等待無序事件時產生一些延遲。 由于只能等待一段有限的時間，因此限制了確定性事件時間應用程序的運行方式。
假設所有數據都已到達，事件時間操作將按預期運行，即使在處理無序或延遲事件或重新處理歷史數據時也會產生正確且一致的結果。 例如，每小時事件時間窗口將包含帶有落入該小時的事件時間戳的所有記錄，無論它們到達的順序如何，或者何時處理它們。 （有關更多信息，請參閱有關遲到事件的部分。）
請注意，有時基于事件時間的程序處理實時數據時，它們將使用一些處理時間(processing time)操作，以保證它們及時進行。

IngestionTime

進入時間，是事件進入Flink的時間，即Flink消費到數據的時間。

假設Flink由于某些原因導致延時了，那么進入時間相應的也會延時，看具體的場景選擇使用。

在源運算符處，每個記錄將源的當前時間作為時間戳，并且基于時間的操作（如時間窗口）引用該時間戳。
進入時間在概念上位于事件時間和處理時間之間。與處理時間相比，它代價稍高，但可以提供更可預測的結果。 因為進入時間使用穩定的時間戳（在源處分配一次），所以對記錄的不同窗口操作將引用相同的時間戳，而在處理時間中，每個窗口操作符可以將記錄分配給不同的窗口（基于本地系統時鐘和 任何傳輸延誤）。

到此，相信大家對“Flink的時間特性有哪些”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！