網絡管理部署

1、環境準備

單機部署：官方建議硬件要求為 4C/16G 以上

• 1 臺 4 核 16G
• 2 臺 4 核 8G

1.1：獲取軟件包

訪問：https://bk.tencent.com/download/

1.2：系統環境設置

官方建議：要求 CentOS-7.0 以上版本，推薦 CentOS-7.5

安裝一些常用命令

[root@localhost ~]# yum -y install vim lrzsz net-tools ntp wget

1.2.1：關閉 seLinux

[root@localhost ~]# setenforce 0
#修改配置文件
[root@localhost ~]# sed -ri 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

1.2.2：重啟系統

[root@localhost ~]# reboot

1.2.3：安裝 rsync

# 檢查是否有rsync命令，如果有返回rsync路徑，可以跳過后面的命令
[root@localhost ~]# which rsync
# 安裝rsync
[root@localhost ~]# yum -y install rsync

1.2.4：關閉防火墻

# 檢查默認防火墻狀態, 如果返回not running，可以跳過后面的命令
[root@localhost ~]# firewall-cmd --state
#停止并禁用firewalld:
[root@localhost ~]# systemctl stop firewalld     # 停止firewalld
[root@localhost ~]# systemctl disable firewalld  # 禁用firewall開機啟動

1.2.5：調整最大文件打開數

# 檢查當前root賬號下的max open files值
[root@localhost ~]# ulimit -n

#如果為默認的1024，建議通過修改配置文件調整為102400或更大。
[root@localhost ~]# vim /etc/security/limits.d/99-nofile.conf
 root soft nofile 102400
 root hard nofile 102400
這里使用的單獨的配置文件覆蓋/etc/security/limits.conf默認值的方式，請根據系統環境自行調整。

修改后，重新使用root登錄檢查是否生效
[root@localhost ~]# su
[root@localhost ~]# ulimit -n

1.2.6：時間同步

服務器后臺時間不同步會對時間敏感的服務帶來不可預見的后果。務必在安裝和使用藍鯨時保證時間同步。

# 檢查每臺機器當前時間和時區是否一致，若相互之間差別大于3s（考慮批量執行時的時差），建議校時。
[root@localhost ~]# yum -y install ntp
[root@localhost ~]# date -R
# 查看和ntp server的時間差異(需要外網訪問,如果內網有ntpd服務器，自行替換域名為該服務的地址)
[root@localhost ~]# ntpdate -d cn.pool.ntp.org

#如果輸出的最后一行offset大于1s建議校時
#和ntp服務器同步時間
[root@localhost ~]# ntpdate cn.pool.ntp.org

1.2.7：檢查是否存在全局 HTTP 代理

藍鯨服務器之間會有的 http 請求，如果存在 http 代理，且未能正確代理這些請求，會發生不可預見的錯誤。

#檢查http_proxy https_proxy變量是否設置，若為空可以跳過后面的操作
[root@localhost ~]# echo "$http_proxy" "$https_proxy"

對于本機配置http_proxy變量的方式，請依次查找文件/etc/profile、/etc/bashrc、$HOME/.bashrc等是否有設置。

1.2.8：關閉 NetworkManager

#查看NetworkManager狀態
[root@localhost ~]# systemctl status NetworkManager.service

#關閉NetworkManager  
[root@localhost ~]# systemctl stop NetworkManager.service

#將NetworkManager 服務設置開機不啟動
[root@localhost ~]# systemctl disable NetworkManager.service  

1.3：配置 YUM 源

1.3.1：獲取 BASE 源

#備份默認源
[root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

#獲取網絡源
[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos7_base.repo

1.3.2：獲取 EPEL 源

[root@localhost ~]# wget -O /etc/yum.repos.d/epel.repo http://mirrors.cloud.tencent.com/repo/epel-7.repo

#更新緩存
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache

1.4：獲取證書

https://bk.tencent.com/download_ssl/

通過命令得到本機的 Mac 地址，然后復制到上面網址中進行下載證書文件

2、安裝前準備

2.1：解壓程序包

#上傳包至服務器并解壓程序包到/data目錄下
[root@localhost ~]# mkdir /data
[root@localhost ~]# tar -xf bkce_src-5.0.4.tar.gz -C /data/
#解壓后/data目錄下有2個目錄install 和 src目錄
#解壓ssl證書文件
[root@localhost ~]# tar -xf ssl_certificates.tar.gz -C /data/src/cert/

2.2：修改配置文件

2.2.1：install.conf

install.config 是模塊和服務器對應關系的配置文件，描述在哪些機器上安裝哪些模塊。 每行兩列，第一列是 IP 地址；第二列是以英文逗號分隔的模塊名稱。

[root@localhost ~]# cd /data/install/
[root@localhost install]# cp install.config.3IP.sample install.config
[root@localhost install]# vim install.config
注意：此處云服務器寫公網ip
[root@localhost install]# curl ip.sb

[root@localhost install]# vim globals.env
下面的域名根據實際情況進行修改為自己的

export BK_DOMAIN="bk.cloud.tencent.com"                 # 藍鯨根域名(不含主機名)
export PAAS_FQDN="yppaas.$BK_DOMAIN"     # PAAS 完整域名
export CMDB_FQDN="ypcmdb.$BK_DOMAIN"     # CMDB 完整域名
export JOB_FQDN="ypjob.$BK_DOMAIN"       # JOB 完整域名
 PAAS_ADMIN_PASS為`BWvQEaYO`修改

其余默認即可

2.2.3：pip.conf

[root@localhost ~]# mkdir -p /data/src/.pip/

[root@localhost ~]# vim /data/src/.pip/pip.conf
 [global]
index-url = ![img](file:///C:\Users\LFL\AppData\Local\Temp\%W@GJ$ACOF(TYDYECOKVDYB.png)https://pypi.tuna.tsinghua.edu.cn/simple

[root@localhost ~]# curl -I http://mirrors.cloud.tencent.com/pypi/simple

2.3：配置免密登入

[root@localhost ~]# cd /data/install/
[root@localhost install]# bash configure_ssh_without_pass  # 根據提示輸入各主機的 root 密碼完成免密登陸配置

2.4：安裝前檢查環境

[root@localhost ~]# cd /data/install/
[root@localhost install]# bash precheck.sh

• 正常如圖下所示

• 如果發現有[FAIL]的報錯，按照提示和本文檔修復。修復后，可繼續跑 precheck.sh 腳本,直到不再出現[FAIL]。如果需要從頭開始檢查，請使用 precheck.sh -r 參數

3、開始安裝

3.1：執行安裝

[root@localhost ~]# mkdir /usr/local/blueking
[root@localhost ~]# cd /data/install/
[root@localhost install]# ./install_minibk -y
……
<<check_networkmanager>> has been checked successfully... SKIP
<<check_firewalld>> has been checked successfully... SKIP
where do you want to install blueking products.
enter a absolute path [/data/bkce]:直接回車確定
……
enter a absolute path [/data/bkce]: /usr/local/blueking #輸入安裝的位置
directory /usr/local/blueking exists, are you sure to install blueking suite to /usr/local/blueking (yes/no)? yes

• 出現錯誤：
  parse cc response error 解析 cc 錯誤

• 解決方案：
  官方給出

  [root@localhost ~]# source /data/install/utils.fc
  [root@localhost ~]# cd /data/install
  [root@localhost install]# ./bkcec status all
  [root@localhost install]# ./bkcec stop gse
  [root@localhost install]# ./bkcec install gse 1
  [root@localhost install]# ./bkcec initdata gse

• 再次執行安裝

  [root@localhost install]# ./install_minibk -y

4、訪問頁面

windows：修改 hosts 文件進行域名解析

C:\Windows\System32\drivers\etc\hosts

192.168.66.35 localhost.localdomain

192.168.66.35 yppaas.bk.com

192.168.66.35 ypcmdb.bk.com

192.168.66.35 ypjob.bk.com

192.168.66.35 rbtnode1

• 注意：登入的用戶和密碼是配置文件 globals.env 中設置的
  一般用戶為 admin，密碼為自己修改的密碼

5、網絡管理部署

5.1：下載插件包

下載部署第三方的網絡管理平臺

插件包地址https://bk.tencent.com/download_sdk/

5.2：解壓安裝

#先執行下環境變量文件
[root@rbtnode1 ~]# source /data/install/globals.env

#上傳插件包進行解壓安裝
[root@rbtnode1 ~]# tar xf bknetwork.tgz -C /data/src/

[root@rbtnode1 ~]# tar xf /data/src/bknetwork/bknetwork-3.6.1.tgz  -C  /data/src/

[root@rbtnode1 ~]# rsync -a /data/src/bknetwork/install/  /data/install/

5.3：根據實際情況修改域名

根據實際情況修改中控機/data/install/third/globals_bknetwork.env 網絡管理域名等信息

5.4：部署網絡管理

[root@rbtnode1 ~]# cd /data/install/
[root@rbtnode1 install]# ./bkco_install bknetwork

5.5：win 系統添加域名解析

windows：修改 hosts 文件進行域名解析

C:\Windows\System32\drivers\etc\hosts

192.168.66.35 bknetwork.bk.com

5.6：訪問頁面

http://bknetwork.bk.com

6、部署 CICD 插件

6.1：下載插件包和腳本

https://bk.tencent.com/download_sdk/

6.2：解壓安裝

[root@rbtnode1 ~]# tar -xf bkce_cicdkit-1.0.0.tgz -C /data
[root@rbtnode1 ~]# tar -xf install_ce-cicdkit_fix-1.0.2.tar -C /data

注意：安裝 CICDKit 的機器可用配置不能低于 4C8G，系統版本不能低于 CentOS7.0，建議單獨一臺機器部署

6.3：修改配置

• 中控機 install/third/globals_cicdkit.env 域名信息(CICDKIT_FQDN)

• install.config 新增 cicdkit 及其依賴的 mysql5.7 的配置

  [root@rbtnode1 install]# vim install.config
  192.168.66.36 mysql57,cicdkit

6.4：安裝 CICDKit 后臺

#先刷新一下環境變量
[root@rbtnode1 install]# source globals.env
[root@rbtnode1 install]# source /data/install/third/globals_cicdkit.env

#設置免密，拷貝秘鑰：
[root@rbtnode1 install]# ssh-copy-id root@192.168.66.36

#執行數據拷貝至cicd服務器
[root@rbtnode1 install]# ./bkcec sync all

#安裝CICDKit
[root@rbtnode1 install]# ./bkco_install cicdkit

[root@rbtnode1 ~]# source /data/install/utils.fc 
[root@rbtnode1 install]# echo $CICDKIT_FQDN
cicdkit.bk.com

[root@rbtnode1 install]# vim /etc/hosts
10.18.198.92 cicdkit.bk.com

#重啟進程
[root@rbtnode1 install]# ./bkcec stop cicdkit self
[root@rbtnode1 install]# ./bkcec start cicdkit self

6.5：部署 cicdkit-SaaS

#下載 cicdkit-SaaS 包

https://bk.tencent.com/s-mart/application/159/detail

從 PaaS 頁面中進入開發者中心進行部署

6.6：訪問頁面

7、服務器重啟后的操作

• 確認 /etc/resolv.conf 里第一個 nameserver 是 127.0.0.1，option 選項不能有 rotate
• 檢查重啟機器的 crontab，是否有自動拉起進程的配置 crontab -l | grep process_watch，重啟后的自動拉起主要靠 crontab
• 中控機上確認所有進程狀態：./bkcec status all, 正常情況下應該都是正常拉起 RUNNING 狀態，如果有 EXIT 的，則嘗試手動拉起。手動拉起的具體方法參考組件的啟動停止https://docs.bk.tencent.com/bkce_install_guide/maintain.html#start_stop
• 如果社區版所有機器同時重啟，很大概率會有很多進程啟動失敗，因為不同機器上組件恢復的時間沒法控制，導致依賴的組件還沒啟動起來，導致失敗，連鎖反應。所以這種情況，遵循和安裝時的啟動原則:
• 先啟動 db
• 啟動依賴的其他開源組件及服務
• 啟動藍鯨產品

• 如果已經部署過 SaaS，那么手動拉起。

  [root@rbtnode1 ~]# cd /data/install/

  [root@rbtnode1 install]# ./bkcec start saas-o # 正式環境
  [root@rbtnode1 install]# ./bkcec start saas-t # 測試環境

  #檢查所有服務啟動狀態，全為RUNNING為正常，如有EXIT則手動拉起
  [root@rbtnode1 install]# ./bkcec status all

  #手動拉起某個服務，例如
  [root@rbtnode1 install]# ./bkcec start bknetwork
  [root@rbtnode1 install]# ./bkcec status bknetwork

8、離線安裝 Agent

8.1：離線準備

下載好 ISO 鏡像文件，地址如下，此 iso 鏡像已經包含了安裝 agent 所需的軟件

https://bk.tencent.com/s-mart/community/question/466

掛載到每臺機器上：

 mkdir -p /mnt/centos7
 mount  /dev/sr0 /mnt/centos7

8.2：配置離線 repo

Vim /etc/yum.repos.d/offline-centos7.repo

 [offline-centos7]
 name=Bk repo
 baseurl=file:///mnt/centos7
 enabled=1
 gpgcheck=0

8.3：更新緩存

yum clean all
yum makecache
yum repolist

8.4：在節點配置中添加 Agent 即可

9、常見問題總結

9.1：zookpeer 啟動失敗

檢查日志存在臟數據，日志路徑

[root@rbtnode1 ~]# rm -rf /安裝目錄/public/zk/data/version-2/
[root@rbtnode1 ~]# rm -rf /安裝目錄/public/zk/datalog/version-2/

[root@rbtnode1 ~]# cd /data/install
[root@rbtnode1 install]#./bkcec start zk
[root@rbtnode1 install]#./bkcec status zk
  檢查日志存在臟數據，日志路徑

[root@rbtnode1 ~]# rm -rf /安裝目錄/public/zk/data/version-2/
[root@rbtnode1 ~]# rm -rf /安裝目錄/public/zk/datalog/version-2/

[root@rbtnode1 ~]# cd /data/install
[root@rbtnode1 install]#./bkcec start zk
[root@rbtnode1 install]#./bkcec status zk

9.2：GSE 啟動失敗

重啟gse
[root@rbtnode1 ~]# cd /data/install
[root@rbtnode1 install]#./bkcec stop gse 1
[root@rbtnode1 install]#./bkcec initdata gse
[root@rbtnode1 install]#./bkcec start gse
[root@rbtnode1 install]#./bkcec status gse

9.3： 服務器的gse服務時而正常時而不正常

日志顯示為無法連接redis主機，但是redis服務正常，根本原因是將redis和gse放入到同一臺服務器中安裝

9.4：重啟服務后訪問 SaaS 應用都報 502

原因：重啟服務后有殘余進程

解決方案：在開發者中心將這些應用重新部署

9.5：redis密碼修改不能有特殊字符，如果有特殊字符，會導致gse_dba服務起不來，以及cmdb服務不能全部running

參考官網網址：http://docs.bk.tencent.com/bkce_maintain_faq/component/redis.html修改回正常密碼，問題解決

9.6：部署藍鯨平臺的過程中遇到報錯add rabbitmq user admin failed

目錄下/etc/rabbitmq下運行命令chmod 755 *

9.7：卸載藍鯨agent 不成功，提示：組件調用異常，

服務器安裝好了之后，業務分配到其他地方， 想要卸載不成功，需要重新將主機分配到藍鯨業務中去， 并重裝agent

9.8：藍鯨服務器重啟之后，訪問所有app出現訪問不了的情況，paas_agent未顯示running狀態

運行命令：

查看日志/data/bkce/logs/paas_agent/agent.log

./bkcec stop nginx

./bkcec start nginx

./bkcec stop appt

./bkcec start appt

./bkcec stop appo

./bkcec start appo

之后重新上下架uam ,在重新上下架app ,問題得到解決。

9.9：bkdata服務器detect_cron提示狀態不正常

原因：crontab定時計劃任務中的格式不規范，里面有很多@號，將@號刪除，并執行下面命令問題解決

workon monitor

supervisorctl -c /data/bkce/etc/supervisor-bkdata-monitor.conf restart detect_cron

9.10：配置自動化app部署失敗，日志顯示報錯找不到pip源

在appt及appo服務器上分別執行以下操作，提前在在線pip環境中安裝pip包

pip download django-celery==3.1.16，然后上傳到/data/bkce/paas_agent/support-files/pkgs/目錄下；

確認是否對應/data/bkcd/pass_agent/apps/projects/cc-automation/code/cc-automation/requirements.txt中的依賴包版本信息；

在app的虛擬環境下安裝依賴包：

cd /data/bkce/paas_agent/apps/Envs/cc-automation/bin

source activate

pip insall –r /data/bkce/pass_agent/apps/projects/cc-automation/code/cc-automation/requirements.txt --no-index --find-links=file:///data/bkce/ paas_agent/support-files/pkgs/

pip list

deactivate

10、如何給一個 SaaS 應用加白名單

官方文檔：https://bk.tencent.com/s-mart/community/question/569

11、手動卸載各節點 Agent

• 登入到各個管控節點服務器，然后執行下面的操作

  停gse_agent:
  [root@node1 ~]# /usr/local/gse/agent/bin/gsectl stop

  停采集器:
  [root@node1 ~]# cd /usr/local/gse/plugins/bin/ && ./stop.sh basereport

  刪除GSE相關目錄
  [root@node1 ~]# rm -rf /usr/local/gse/ /var/log/gse/ /var/run/gse/ /var/lib/gse/