中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

基于akka和data-sketch技術的實時數據統計服務是怎么樣的

發布時間:2021-12-23 17:55:52 來源:億速云 閱讀:147 作者:柒染 欄目:云計算

本篇文章給大家分享的是有關基于akka和data-sketch技術的實時數據統計服務是怎么樣的,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。

實時流數據分析服務: 實時提交分析數據,實時獲取分析結果

    之前一直在一家公司做埋點的后臺數據處理分析程序,在碰到很多問題后就產生一個想法,能不能直接弄一個數據分析服務,

用戶可以隨時調用分析服務的接口提交分析數據和獲取分析結果

技術背景:

  • data-sketch對常見的統計需求,如count(distinct), quantiles, topN等 在精確程度,存儲成本,計算成本之間進行了折衷,對每一個計算元素只touch一次的情況下,得到精度相當高的統計結果。

  • akka是一個實現了actor pattern的異步編程 library。業務功能都被封閉成actor, 相互之間的調用或狀態改變,通過message傳遞完成,無狀態共享.


目前封裝了三種計算模型:

  • theta sketch:基數計算,即計算count(distinct)

  • quantile sketch:分位數計算,即計算一系列數值的分布情況

  • frequency sketch:頻率計算,即topn計算

數據安全性:

  • 提交數據使用wss,獲取數據使用https,數據不會被中途截取

  • 后臺服務不存儲任何原始數據,算后即扔,服務端只有分析后的數據

  • 相關計算參數,比如userid,business,可以hash或混淆后再傳值

  • 由于目前只做authenticate,開發者應注意appid的保密性,建議后臺調用

目前整個服務后臺算是完成了0.5左右吧,由于是試驗性質,目前只用了一臺阿里云的ES,下一步要做的工作有兩方面,

  1. 增加統計模型

  2. 增加對akka cluster 的支持,使整個后臺服務能力可擴展

以上就是基于akka和data-sketch技術的實時數據統計服務是怎么樣的,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宝清县| 连平县| SHOW| 福州市| 抚宁县| 廉江市| 布拖县| 丰原市| 叙永县| 常宁市| 体育| 安宁市| 周口市| 新巴尔虎左旗| 定远县| 吴江市| 昭平县| 临城县| 南川市| 彰化市| 肇东市| 汝州市| 常德市| 宜良县| 镇康县| 永登县| 迁西县| 耿马| 深泽县| 中卫市| 阳城县| 河东区| 辛集市| 乌鲁木齐县| 盘山县| 前郭尔| 阜康市| 枣阳市| 锦州市| 麻阳| 富阳市|