中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

大數據平臺日志存儲分析系統的解決方案是怎樣的

發布時間:2021-12-06 09:57:52 來源:億速云 閱讀:234 作者:柒染 欄目:大數據

大數據平臺日志存儲分析系統的解決方案是怎樣的,相信很多沒有經驗的人對此束手無策,為此本文總結了問題出現的原因和解決方法,通過這篇文章希望你能解決這個問題。

大數據平臺日志存儲分析系統是在大數據平臺下,針對業務系統產生的日志記錄進行存儲和分析。日志數據來自ElasticSearch存儲的日志歷史數據,并將需要存儲和分析的日志數據從ElasticSearch中讀取到Kafka中。Kafka的消費者在偵聽到數據消息進入后,以流方式獲取數據寫入到HBase中。存儲在HBase中的數據則是為日志數據的檢索與分析提供服務。Web前端通過調用后端API檢索HBase中的數據,并進行透視表的可視化展現,展現后的數據支持CSV導出功能。

本解決方案包括的系統功能為:

  • 讀取Kafka消息,存儲到HBase

  • 檢索HBase數據,提供API

  • 顯示內容的CSV導出

技術方案

確定該技術方案的前置條件包括:

  • 推送到Kafka的消息已經準備就緒

  • HBase的數據結構已經確定

  • 日志檢索條件固定

  • 后端API已經確定,Web前端會調用該API

  • Web前端開發已經就緒

技術架構

整個技術架構如下圖所示:

大數據平臺日志存儲分析系統的解決方案是怎樣的

系統分為三個模塊:

  • LogData Collector:通過Spark Streaming訂閱Kafka的Topic,收集業務需要的日志數據,然后寫入到HBase中。HBase搭建在HDFS的集群中。

  • LogData Searching:這是一個Spring Boot服務,通過@RestController暴露API接口給前端。其內部則集成Spark,利用Spark SQL查詢HBase數據庫。

  • Web UI前端:負責調用LogData Searching服務,并將數據呈現到UI上,并在前端實現顯示數據的導出。

說明:導出功能可能有一個變化,倘若前端是分頁顯示,而導出的數據是符合檢索條件的全量數據,則需要在導出時調用LogData Searching服務,獲得導出所需的數據,而非前端已經顯示的數據。

看完上述內容,你們掌握大數據平臺日志存儲分析系統的解決方案是怎樣的的方法了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

康乐县| 磐石市| 申扎县| 颍上县| 浙江省| 东丰县| 屏东县| 静宁县| 湛江市| 庆元县| 历史| 庆云县| 明星| 清流县| 尉犁县| 新邵县| 商南县| 射阳县| 西平县| 扎兰屯市| 大冶市| 昌黎县| 东乡县| 九龙坡区| 罗城| 资讯| 石狮市| 田东县| 巴青县| 工布江达县| 汪清县| 敖汉旗| 屏东市| 城市| 双流县| 开封市| 方城县| 阿拉善右旗| 永泰县| 潼关县| 青浦区|