您好,登錄后才能下訂單哦!
本篇內容主要講解“SQL Stream Builder是什么”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“SQL Stream Builder是什么”吧!
Cloudera的SQL Stream Builder現在增強了Cloudera的數據流平臺(CDF)的強大的流處理能力。它提供了一個光滑的用戶界面,用于編寫SQL查詢以針對Apache Kafka或Apache Flink中的實時數據流運行。這使開發人員、數據分析師和數據科學家僅使用SQL即可編寫流應用程序。他們不再需要依靠任何熟練的Java或Scala開發人員來編寫特殊程序來訪問這些數據流。
SQL Stream Builder通過Flink連續運行SQL。它通過簡單而直觀的用戶界面提供語法檢查、錯誤報告、模式檢測、查詢創建、采樣結果以及創建輸出。它還提供了一個先進的物化視圖引擎,使其他應用程序可以通過簡單的REST API訪問實時聚合的數據集。
是的,數據具有保質期。在當今的業務環境中,必須立即處理您收到的數據,以了解業務影響并采取措施。如果您只能實時攝取所有數據,卻無法利用數據對您的意義,那么流分析解決方案就不好了。想象一下,某制造商每天從其十幾個或更多制造工廠接收帶有數百萬條消息的數據流。如果他們需要了解流的特定涌動來自何處,或者需要檢測流中的特定異常,則他們應該能夠實時查詢流。他們無力將其全部發送到數據存儲中,然后在第二天進行分析以找到可行的見解。該數據第二天沒有任何價值。要執行此類實時查詢,這些技能通常由組織中的少數人掌握,他們擁有諸如Scala或Java之類的獨特技能,并且可以編寫代碼來獲得這種見解。這不是可擴展的模型。
在過去的三十多年中,SQL已成為一種接受的跨多種數據庫系統進行查詢的方法。在關鍵的企業數據角色中,SQL也是最受歡迎的技能之一。由于數據分析人員和數據科學家都在努力地輕松獲得對實時數據流的訪問權限,因此SQL成為完成此任務的簡便選擇。但是,這是一個關鍵挑戰。與通常在任何給定時間點具有固定行數的數據庫表不同,流是不受限制的。這意味著它們本質上是連續的,沒有限制。它們也不會按順序進入。有些消息也可能遲到或出現故障。這使得采用SQL原樣查詢數據流具有挑戰性。
數據流必須使用稱為“窗口”的微小時間片進行處理,例如持續5秒鐘。流上的每個消息還具有一個時間戳,可用于檢測應該處理該消息的順序。因此,使用SQL作為基本構造,添加了一些其他關鍵字來在時間窗口的上下文中處理數據流。因此誕生了Streaming SQL或Continuous SQL。它們的外觀和功能類似于常規SQL,但您還有許多其他構造可用于在特定時間范圍內對流進行分組。它還支持一系列聚合功能,以便您可以對流執行各種擴充任務,例如查找平均值、總和、計數等。這可以立即允許組織中的數據分析人員和數據科學家使用SQL查詢數據流!這就是我們所說的組織內實時數據的民主化。
釋放所有用戶角色對實時數據的訪問權限–數據分析師和數據科學家可以自己使用SQL Stream Builder來使用SQL運行臨時查詢
簡化了構建流應用程序的過程– SQL Stream Builder提供了一個支持流SQL的交互式用戶界面。這使用戶可以在特定時間窗口內對數據流運行連續查詢。您還可以加入多個數據流并執行聚合。
將聚合的數據流公開給其他應用程序– SQL Stream Builder允許您創建物化視圖,可以通過REST API輕松地將其公開給其他應用程序。這再次將鎖定在實時數據流中的值釋放給整個企業中的更多應用程序。
加速查詢,而對核心系統的影響最小– SQL Stream Builder的真正功能在于其底層引擎中,可以使這些查詢執行得非常快,而又不會給保存此類數據流的核心系統帶來負擔,例如,Kafka代理將數據流保存在其中的topic中。
如果您想了解有關連續SQL的更多信息,請下載我們的新白皮書。或者,如果您想了解有關SQL Stream Builder的更多信息,請下載我們的技術簡介或數據表。
到此,相信大家對“SQL Stream Builder是什么”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。