中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何分析一站式數據應用開發管理門戶DataSphere Studio

發布時間：2022-01-06 09:12:21 來源：億速云 閱讀：195 作者：柒染 欄目：云計算

這期內容當中小編將會給大家帶來有關如何分析一站式數據應用開發管理門戶DataSphere Studio，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

“ DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式數據應用開發管理門戶。基于插拔式的集成框架設計，及計算中間件Linkis，可輕松接入上層各種Web系統，讓數據開發變得簡潔又易用。”


01

—

DSS是什么？

DataSphere Studio（簡稱DSS）定位為數據應用開發門戶，閉環涵蓋數據應用開發全流程。在統一的UI下，以工作流式的圖形化拖拽開發體驗，滿足從數據導入、脫敏清洗、分析挖掘、質量檢測、可視化展現、定時調度到數據輸出應用等，數據應用開發全流程場景需求。


DSS通過插拔式的集成框架設計，讓用戶可以輕松定制化開發DSS，簡單快速集成各種Web系統，在一個統一的頁面下，便可滿足用戶的所有業務需求。

根據需要，用戶可以簡單快速替換DSS已集成的各種功能組件，或新增功能組件。


借助于Linkis計算中間件的連接、復用與簡化能力，DSS天生便具備了金融級高并發、高可用、多租戶隔離和資源管控等執行與調度能力。


02

—

為什么需要DSS？


隨著大數據技術的廣泛應用，如今數據應用的開發，已遠遠不再是加工和生產幾個報表了。
業務與數據如何快速實現互動，數據如何快速且高效地生成報告，協助商業決策，幾乎是所有企業的核心訴求。
然而，現實卻是，業務用戶面對功能豐富的眾多數據應用系統，往往不知所措，不知如何選擇。
  

以下六個痛點，幾乎是所有企業面臨的非常頭痛的問題：
  1. 數據應用系統多，沒有統一的用戶入口，用戶體驗割裂感強。
  2. 業務流程涉及多個系統相互協作，用戶需頻繁切換系統才可實現業務。
  3. 很多數據應用系統邊界不清晰，功能重疊不僅極大浪費人力，系統間也難以協同互通，用戶更是需要花時間反復調研比較，才能最終敲定方案。
  4. 跨部門跨業務的數據依賴，全靠口頭約定ready時間，如果上游數據延遲，下游將產生連鎖反應，引發數據災難。
  5. 系統間的數據和信息共享，需要兩兩開發適配，調用復雜且耦合度高。
  6. 沒有一套統一的集成框架，系統間集成需要各種開發適配。

03

—

DSS的核心概念

DSS提出的五大核心概念，專注于解決上述提到的六大痛點問題。

如何分析一站式數據應用開發管理門戶DataSphere Studio

1. 一站式
一站式，是DSS提高業務用戶主動參與數據開發的第一步探索。
DSS通過提供一站式的數據應用開發管理界面，讓用戶無需再多方打聽探討，才能確認是否有工具能滿足需求，所有的數據開發均可在DSS上找到組件完成。


DSS集成度極高，最新開源版已集成的系統有：

  1. 數據開發探索Scriptis

  2. 數據可視化Visualis（基于宜信Davinci二次開發）

  3. 數據質量Qualitis

  4. 調度系統Azkaban

DSS插拔式的框架設計模式，允許用戶快速替換DSS已集成的各個Web系統。如：將Scriptis替換成Zeppelin，將Azkaban替換成DolphinScheduler。


如何分析一站式數據應用開發管理門戶DataSphere Studio

DSS一站式的數據應用開發入口，使用戶養成了有需求時搜DSS，沒需求時探索DSS其他功能組件的良好習慣。
2. 全連接
在DSS工作流拖拽編輯頁面，DSS已集成的所有數據應用系統，都將以工作流節點的形式出現，一種節點對應一個系統功能，讓功能邊界清晰明朗，用戶無需再做選擇題。
DSS工作流節點，支持嵌入已集成的數據應用系統前端界面，讓用戶在一個工作流頁面，即可編輯修改所有的業務功能。
DSS工作流，讓用戶能以業務視角將多個業務功能連接起來，編排成支持實時執行和定時調度的工作流，只需簡單拖拽即可完成數據應用的全流程開發。
在微眾銀行，通過DSS的工作流，業務數據應用的迭代周期從原來的1周，降低到1天，效率提升了600%倍。
DSS工作流，做到讓用戶可以簡單快速地實現業務，同時幫助用戶更好地理解業務。

3.插拔式
插拔式是DSS作為數據應用集成框架的最大特色。
DSS就像是插槽，插拔式的設計方式，幾乎不侵入原有的外部系統，且只需做簡單適配，即可快速的集成進來。
DSS通過插拔式的集成框架設計，讓用戶可以輕松定制化開發DSS，簡單快速集成各種Web系統，在一個統一的頁面下，便可滿足用戶的所有業務需求。
通過插拔式，讓WeDataSphere的各個功能組件既能相互獨立、系統邊界清晰明確，又能有機融合在一起，共同構成WeDataSphere一站式、全連通的大數據使用體驗。

4.上下文  
何謂上下文？
保持某種操作繼續進行的所有必需信息。  如：  同時看三本書，每本書已翻看的頁碼就是繼續看這本書的上下文。
DSS上下文，解決DSS工作流跨多個系統節點間的數據和信息共享問題。
例如，B系統需要使用A系統產生的一份數據，通常的做法如下：
  1. B系統調用A系統開發的數據訪問接口
  2. B系統讀取A系統寫入某個共享存儲的數據
DSS借助Linkis計算中間件實現的WorkflowContext，允許接入的外部系統作為分享節點或讀取節點，將節點信息和節點數據共享給其他外部系統節點，無需外部系統兩兩開發適配，降低系統間調用復雜度和耦合度。
借助于DSS上下文，微眾銀行WeDataSphere實現徹底解耦，各功能組件的復雜度至少降低了30%。

5.信號化  
跨部門跨業務的數據依賴問題，一向是業界公認的老大難。
例如：  部門B的數據集市依賴于部門A DWD(Data Warehouse Detail數據明細層)的部分數據，
如何確保部門A的數據處理完成后，部門B才正式開始數據處理？
通常的做法是：  雙方約定一個時間窗口，部門A保證數據已準備就緒。
中間的空窗期，不僅極大降低了數據處理時效性，且一旦部門A數據處理延遲，下游將引發災難。
DSS作為數據應用開發門戶，提出了一套基于信號的數據依賴解決方案。
接入到DSS的數據應用系統，只需在其前面加上一個信息節點，即可實現跨業務、多系統間的數據依賴協作執行問題。
微眾銀行通過DSS信號化，讓各業務跨多系統的數據依賴，變得簡單、清晰又高效，平均提速了業務30%的數據產出，數據延遲率降低了90%。

04

—

DSS核心設計理念

AppJoint，DSS插拔式架構的插口，是DSS構建一站式、全連通、插拔式、上下文的基石。  
AppJoint，是DSS可以簡單快速集成各種上層Web系統的核心概念。

 
什么是AppJoint?  
AppJoint——應用關節，基于Linkis計算中間件構建，定義了一套統一且規范的前后臺接入規范，
讓外部數據應用系統可簡單快速地接入到DSS。
AppJoint的四大規范，讓DSS的數據應用系統接入，變得清晰又便捷。


Security規范和Project規范，是實現一站式的核心抽象。
  1. Security規范，打通DSS與外部系統前后臺的登錄跨域問題。
  2. Project規范，打通DSS與外部系統的組織結構、權限體系，是實現DSS協同開發的通用標準。
NodeService規范和NodeExecution規范，是實現全連通的核心基石。
  1. NodeService規范，打通DSS工作流節點與外部系統的關聯互通。
  2. NodeExecution規范，實現DSS工作流節點與外部系統的任務交互執行。
AppJoint還引入了Linkis計算中間件，讓接入的外部數據應用系統，可快速具備Linkis的并發限流、用戶資源打通等能力。
且基于Linkis實現的WorkflowContext，允許上下文信息跨系統節點級共享，徹底告別應用孤島。

05

—

DSS已集成的數據應用組件

DSS通過實現多個AppJoint，已集成了豐富多樣的各種上層Web應用系統，基本可滿足用戶的數據開發需求。

用戶如果有需要，也可以輕松集成新的Web應用系統，以替換或豐富DSS的數據應用開發流程。

1、數據開發——Scriptis  
什么是Scriptis?
Scriptis是一款支持在線寫SQL、Pyspark、HiveQL等腳本，提交給Linkis執行的數據分析Web工具，且支持UDF、函數、資源管控和智能診斷等企業級特性。
Scriptis AppJoint為DSS集成了Scriptis的數據開發能力，并允許Scriptis的各種腳本類型，作為DSS工作流的節點，參與到應用開發的流程中。
目前已支持HiveSQL、SparkSQL、Pyspark、Scala等腳本節點類型。

如何分析一站式數據應用開發管理門戶DataSphere Studio

2、數據可視化——Visualis  
什么是Visualis?
Visualis是一個數據可視化的BI工具，基于宜信開源組件Davinci二次定制化開發而成。
Visualis AppJoint為DSS集成了Visualis的數據可視化能力，并允許數據大屏和儀表盤，作為DSS工作流的節點，與上游的數據集市關聯起來。

如何分析一站式數據應用開發管理門戶DataSphere Studio

3、DSS的調度能力——Azkaban  
用戶的很多數據應用，通常希望具備周期性的調度能力。
目前市面上已有的開源調度系統，與上層的其他數據應用系統整合度低，且難以融通。
DSS通過實現Azkaban AppJoint，允許用戶將一個編排好的工作流，一鍵發布到Azkaban中進行定時調度。
DSS還為調度系統定義了一套標準且通用的Linkis工作流解析發布規范，讓其他調度系統可以輕松與DSS實現低成本對接。

如何分析一站式數據應用開發管理門戶DataSphere Studio

4、數據質量——Qualitis  
Qualitis AppJoint 為DSS集成數據質量校驗能力，將數據質量系統集成到DSS工作流開發中，對數據完整性、正確性等進行校驗。

如何分析一站式數據應用開發管理門戶DataSphere Studio

5、數據發送——Sender  
Sender AppJoint為DSS集成數據發送能力，目前支持SendEmail節點類型，所有其他節點的結果集，都可以通過郵件發送。
例如：  SendEmail節點可直接將Display數據大屏作為郵件發送出來。

6、數據信號——Signal

Signal AppJoint用于強化業務與流程之間的解耦和相互關聯。
DataChecker節點：  檢查庫表分區是否存在。
EventSender: 跨工作流和工程的消息發送節點。
EventReceiver: 跨工作流和工程的消息接收節點。
7、功能節點
空節點和子工作流節點。

8、節點擴展

根據需要，用戶可以簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

上述就是小編為大家分享的如何分析一站式數據應用開發管理門戶DataSphere Studio了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。

AI
助
手
花垣县| 宣化县| 宜章县| 勐海县| 新源县| 尼木县| 天峨县| 柯坪县| 融水| 武穴市| 睢宁县| 宁河县| 武陟县| 桃园县| 海淀区| 溧阳市| 慈溪市| 郁南县| 府谷县| 安塞县| 乌兰县| 铜川市| 陇南市| 乳源| 岑溪市| 乐平市| 盘山县| 讷河市| 曲周县| 渭南市| 绥滨县| 寻甸| 巩义市| 桃园市| 庆云县| 临西县| 崇仁县| 英吉沙县| 张家界市| 阿鲁科尔沁旗| 哈巴河县|