DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式數據應用開發管理門戶。

基于插拔式的集成框架設計，及計算中間件 Linkis ，可輕松接入上層各種數據應用系統，讓數據開發變得簡潔又易用。

在統一的UI下，DataSphere Studio以工作流式的圖形化拖拽開發體驗，將滿足從數據交換、脫敏清洗、分析挖掘、質量檢測、可視化展現、定時調度到數據輸出應用等，數據應用開發全流程場景需求。

DSS通過插拔式的集成框架設計，讓用戶可以根據需要，簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

借助于 Linkis 計算中間件的連接、復用與簡化能力，DSS天生便具備了金融級高并發、高可用、多租戶隔離和資源管控等執行與調度能力。

但是，官方的安裝文檔略簡單，一些配置細節為了簡化安裝沒有介紹。導致安裝阻攔了部分不同環境用戶。為此，本人將我的安裝過程整理出來，供大家參考。

1 概述

2 基于Ambari集群配置獨立client機

2.1 大數據集群環境

2.2 DataSphere Studio專用client機配置

2.2.1 基礎配置說明

2.2.2 hosts和hostname

2.2.3 配置主機到client的免密碼登錄

2.3 Ambari集群中增加DataSphere Studio專用Client

2.3.1 指定主機

2.3.2 確認要登記的主機

2.3.3 指定在client上安裝的組件

2.3.4 指定配置組

2.3.5 審查配置

2.3.6 安裝、啟動、測試

2.3.7 完成

2.4 客戶機上安裝的組件位置及配置文件位置

3 安裝DataSphere Studio

3.1 安裝包

3.2 依賴項安裝

3.3 Yum安裝nginx

3.4 撤銷cp/mv/rm別名

3.5 修改配置

3.5.1 配置文件示例

3.6 修改數據庫配置

3.6.1 創建數據庫

3.6.2 配置

3.7 執行安裝腳本

3.7.1 安裝步驟

3.7.2 驗證安裝是否成功

3.8 訪問地址

3.9 FAQ

4 啟動服務

4.1 啟動服務

4.2 查看是否啟動成功

5 坑

5.1 提交上傳資源任務失敗

5.2 有的服務顯示已經在運行

5.3 啟動linkis失敗

5.4 上傳資源失敗

5.4.1 hdfs中tmp/linkis的owner是root:hdfs

6 附錄

已經基于Ambari 2.7.4部署了四節點的大數據集群。各節點上安裝的組件由ambari自動配置，沒有手動配置。

在dn1節點上安裝了mysql5.7社區版，大數據組件的元數據均存儲在dn1節點的mysql數據庫內。

四個節點如下：

centos7最小化安裝

自帶python2.7

卸載原有openJDK，換為oracle jdk 1.8

#yum -y install wget

16G內存，4核心

#vi /etc/hosts

加入

IP地址 節點的FQDN域名

例如：

192.168.94.132 datastudio.sinobd

#vi hostname

加入節點的FQDN名稱

例如

datastudio.sinobd

重啟生效

在ambari控制臺菜單，點擊下方的hosts菜單，

輸入主機名

將master機的id_rsa文件上傳

cat .ssh/id_rsa復制有時出錯

私鑰配置正確，客戶機就不必安裝agent

如果不使用私鑰，也可以在節點上手動安裝ambari agent并啟動，出現如下提示框：

默認只安裝全部client

ambari在客戶機上安裝的組件，都在

/usr/hdp/current文件夾內

配置文件

/etc/下對應的組件文件夾內，但實際都是到/usr/hdp/current下對應組件配置文件的軟鏈接。

知道這些文件的位置，對于后面配置

HADOOP_HOME、HIVE_HOME、SPARK_HOME以及查找配置文件時有幫助。

采用DSS & Linkis全家桶一鍵部署安裝包(1.3GB)（公眾號回復：全家桶安裝包）

centos默認在.bashrc中給cp/mv/rm設置了別名，導致安裝過程出現很多cp 命令提示是否覆蓋安裝。輸入alias，如果有cp、mv、rm的別名，則應該去掉，以避免大量提示。方法是：

#vi ~/.bashrc       

將conf目錄下的config.sh.standard.template，修改為config.sh

    cp conf/config.sh.standard.template conf/config.sh

您可以按需修改相關配置參數：

    vi conf/config.sh  

參數說明如下：

在主機上

#mysql –uroot –pMysql12#create database linkis;GRANT ALL PRIVILEGES ON linkis.* TO linkis@'%' IDENTIFIED BY 'sinosoft1234' WITH GRANT OPTION;

注意：安裝腳本有兩處是相對路徑，為了正確安裝，所以不要進入bin目錄執行腳本。

·         install.sh腳本會詢問您安裝模式。安裝模式分為精簡版、標準版，請根據您準備的環境情況，選擇合適的安裝模式。本文檔采用2標準版

·         install.sh腳本會詢問您是否需要初始化數據庫并導入元數據，linkis和dss 均會詢問。

第一次安裝必須選：是。

通過查看控制臺打印的日志信息查看是否安裝成功。

如果有錯誤信息，可以查看具體報錯原因。

DSS web訪問端口：8088

Linkis gateway 的地址：http://127.0.0.1:9001

DSS web 靜態文件地址：/dss_linkis/web/dist

DSS web 安裝路徑：/dss_linkis/web

DSS nginx ip：127.0.0.1

您也可以通過查看我們的安裝常見問題（公眾號回復：安裝常見問題），獲取問題的解答。

  在安裝目錄執行以下命令，啟動所有服務：

如果啟動產生了錯誤信息，可以查看具體報錯原因。啟動后，各項微服務都會進行通信檢測，如果有異常則可以幫助用戶定位異常日志和原因。

您可以通過查看我們的啟動常見問題（公眾號回復啟動常見問題），獲取問題的解答。

提示：

可以延長linkis和dss這兩個項目 bin 目錄下的 start-all.sh中sleep的時間，例如都延長為20秒。

也可以運行sh bin/start-all.sh，直接在控制臺上看到服務啟動情況

第一個啟動的服務是Eureka，它啟動后，就可以在Eureka(http://IP地址:20303/)界面查看 Linkis & DSS 后臺各微服務的啟動情況。如下圖，如Eureka主頁出現以下微服務，則表示服務都啟動成功，可以正常對外提供服務了：

#sh bin/stop-all.sh

sudo -u hdfs hadoop fs -chown -R hadoop:hadoop  /tmp/linkis