Harbor倉庫鏡像掃描的原理

這篇文章主要講解了“Harbor倉庫鏡像掃描的原理”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Harbor倉庫鏡像掃描的原理”吧！

        harbor倉庫中的鏡像掃描這個功能，看似很高大上，其實等你了解了它的底層原理與流程，你就會發現就是做了那么一件事而已，用通俗的一句話概括，就是找到每個鏡像文件系統中已經安裝的軟件包與版本，然后跟官方系統公布的信息比對，官方已經給出了在哪個系統版本上哪個軟件版本有哪些漏洞，比如Debian 7系統上，nginx 1.12.1有哪些CVE漏洞，通過對逐個安裝的軟件包比對，就能知道當前這個鏡像一共有多少CVE。當然，如果你是解壓版的，那就沒啥說的，這個跟windows類似，系統無法在控制面板識別。下面就harbor的具體流程進行簡單介紹，讓你對這個功能了如指掌。

        在了解鏡像掃描之前，這里先簡單說下鏡像的概念，鏡像就是由許多Layer層組成的文件系統，重要的是每個鏡像有一個manifest，這個東西跟springboot中的一個概念，就是文件清單的意思。一個鏡像是由許多Layer組成，總需要這個manifest文件來記錄下到底由哪幾個層聯合組成的。要掃描分析一個鏡像，首先你就必須獲取到這個鏡像的manifest文件，通過manifest文件獲取到鏡像所有的Layer的地址digest，digest在docker鏡像存儲系統中代表的是一個地址，類似操作系統中的一個內存地址概念，通過這個地址，可以找到文件的內容，這種可尋址的設計是v2版本的重大改變。在docker hub儲存系統中，所有文件都是有地址的，這個digest就是由某種高效的sha算法通過對文件內容計算出來的。

        上圖中虛線框中的模塊是harbor自身功能，Clair是coreos開源的一個系統，鏡像掃描分析工作主要由Clair完成，它具體的結構在下面再分析，這里先側重分析harbor這塊流程。箭頭方向大致描述的是請求方向，系統之間交互可能產生多次請求。

1.UI向Job發起鏡像掃描請求，參數中包含了倉庫名稱以及tag

2.Job收到請求之后，向registry發起一個Head請求(/v2/nginx/manifest/v1.12.1)，判斷當前鏡像的manifest是否存在，取出當前manifest的digest，這個digest是存放在響應頭中的Docker-Content-Digest。

3.Job把第2步獲取到的digest以及倉庫名、tag作為一條記錄插入job表中，job的狀態為pending。

這個時候Job系統則會新建一個掃描任務的job進行調度，這里則涉及到一個狀態機處理流程。

4.Job系統通過manifest文件獲取鏡像的所有Layer digest，針對每一層，封裝一個ClairLayer參數對象，然后根據層的數量，循環請求Clair系統，ClairLayer參數結構如下：

Name:    sha256:7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc
Headers: tokenHeader,
Format:  "Docker",
Path:    http://registry:5000/v2/nginx/blobs/7d99455a045a6c89c0dbee6e1fe659eb83bd3a19e171606bc0fd10eb0e34a7dc
ParentName: a55bba68cd4925f13c34562c891c8c0b5d446c7e3d65bf06a360e81b993902e1

5.Clair系統收到請求之后，根據ParentName首先校驗父Layer是否存在，不存在則報錯。

下面詳細講解Clair漏洞分析流程。

1.下載鏡像層文件

攜帶必要的headers發起對path的Get請求，得到的則是一個歸檔文件，然后進行解壓。

2.探測鏡像操作系統

遍歷解壓后的文件目錄，探測操作系統文件路徑。 首先要了解各Linux發行版的一些基礎文件，比如系統版本、安裝的軟件包版本記錄等文件。

centos：etc/os-release,usr/lib/os-release

查看文件/etc/os-release

NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"

CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

clair逐行解析該文件，提取ID以及VERSION_ID字段，最終把centos:7作為clair中的一個namespace概念。

2.探測鏡像已安裝的軟件包

上一步已經探測到了操作系統，自然可以知道系統的軟件管理包是rpm還是dpkg。

debian, ubuntu : dpkg
centos, rhel, fedora, amzn, ol, oracle : rpm

centos系統的軟件管理包是rpm，而debain系統的軟件管理是dpkg。

rpm：var/lib/rpm/Packages
dpkg：var/lib/dpkg/status
apk：lib/apk/db/installed

比如debian系統，從文件/var/lib/dpkg/status文件則可以探測到當前系統安裝了哪些版本的軟件。

Package: sed
Essential: yes
Status: install ok installed
Priority: required
Section: utils
Installed-Size: 799
Maintainer: Clint Adams <clint@debian.org>
Architecture: amd64
Multi-Arch: foreign
Version: 4.4-1
Pre-Depends: libc6 (>= 2.14), libselinux1 (>= 1.32)
Description: GNU stream editor for filtering/transforming text
 sed reads the specified files or the standard input if no
 files are specified, makes editing changes according to a
 list of commands, and writes the results to the standard
 output.
Homepage: https://www.gnu.org/software/sed/

Package: libsmartcols1
Status: install ok installed
Priority: required
Section: libs
Installed-Size: 257
Maintainer: Debian util-linux Maintainers <ah-util-linux@debian.org>
Architecture: amd64
Multi-Arch: same
Source: util-linux
Version: 2.29.2-1+deb9u1
Depends: libc6 (>= 2.17)
Description: smart column output alignment library
 This smart column output alignment library is used by fdisk utilities.

逐行解析文件，提取Package以及Version字段，最終獲取 libsmartcols1 2.29-1+deb9u1以及sed等

3.保存信息

把上面探測到的系統版本、以及系統上安裝的各種軟件包版本都存入數據庫。Clair系統已經獲取了各linux版本操作系統軟件版本，以及對應軟件版本存在的CVE。官方公布了某個軟件在某個版本修復了哪個CVE，Clair只需要將當前鏡像中的軟件的版本與官方公布的版本進行比較。比如官方維護的CVE信息中公布了nginx 1.13.1修復了漏洞CVE-2015-10203，那么當前鏡像中包含的版本為1.12.1的nginx必然存在漏洞CVE-2015-10203，這些版本比較都是基于同一個版本的操作系統之上比較的。

Harbor的Job系統發送完最后一層的請求之后，則會發起一個CVE分析結果的請求查詢，生成一個掃描結果的概覽保存在數據庫中，主要是記錄當前鏡像發現了高風險漏洞多少個，中度風險多少個等。同時把job表中的狀態設置為finished，如果請求Clair發生任何錯誤，則會把job記錄設置為error。harbor頁面具體的漏洞詳細數據展示，還是通過UI系統調用Clair系統實時查詢。

感謝各位的閱讀，以上就是“Harbor倉庫鏡像掃描的原理”的內容了，經過本文的學習后，相信大家對Harbor倉庫鏡像掃描的原理這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！