Tide網絡空間探測平臺建設思路是什么

Tide網絡空間探測平臺建設思路是什么，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

Tide介紹

Tide(潮汐)是由新潮信息Tide安全團隊自主研發推出的一款網絡空間資產搜索引擎。通過不間斷的服務探測、指紋識別，對互聯網基礎設施進行威脅監測和安全態勢分析。結合網絡安全技術與大數據分析處理技術，Tide更像是互聯網空間的一張航海圖。

Tide(潮汐)目前實現了網絡空間資產探測、指紋搜集、指紋檢索、漏洞檢測、漏洞全生命周期管理、poc定向檢測、暗鏈檢測、掛馬監測、敏感字檢測、DNS監測、網站可用性監測、漏洞庫管理、安全預警、報告導出等功能~

在這里和大家分享一下Tide在空間測繪方面實現的一些方法和技巧，雖然和zoomeye、fofa沒什么可比性，但平臺整體成本比較低，比較適用于小團隊開發運作。

聲明

建設背景

隨著配合客戶的一些工作越來越多，有時候經常需要對客戶一定范圍內的主機或應用系統進行摸排。

比如我們坐標山東，而山東省有些客戶的互聯網資產較多而且分布不密集，如果每次都需要掃一些端口和服務那需要耗費比較多的時間和精力。如果想快速獲取指定地區的資產信息就只能從zoomeye、shodan、fofa等類似的平臺獲取，但這些平臺一般查詢都有一定限制，比如限制條數，比如工控端口沒法查看ip等等，而且在某一特定地區的精準度可能稍微差一些，所以萌生了自己仿鐘馗之眼做個資產探測平臺的想法。

開始只是想仿個zoomeye，能探測一定范圍內的空間資產，但后來斷斷續續加入了很多功能模塊，就有了現在的Tide。目前已經基本能滿足某一地區的資產的搜集探測，在一些網安的配合工作中也能快速出一些數據，其他一些功能模塊也在逐漸完善，待大體完善后考慮開源。

主要功能及實現方法

之前畫的一個框架圖，大部分實現了，有些還在努力。

資產發現

目前主要是對客戶要求的區域性資產進行發現探測。

1、由于人力、物力、財力都比較有限，所以只部署了十來臺探測節點（還是512M內存）進行持續性探測，探測可分為模糊探測和精準探測兩種模式，模糊探測時每天大約探測主機500W，精準探測時大約為20W主機、3萬web應用。

模糊探測主要是使用masscan和zmap結合去發現開放的主機和端口，精確探測使用了自己寫的一些腳本去發現逐個測試端口可用性，再用nmap獲取指紋信息，我們也在對一些工控協議、物聯協議寫一些探測腳本并加入到指紋識別中。后續會慢慢寫一些關于端口探測和指紋識別的一點心得。

在平臺前期只是使用了nmap進行掃描并獲取指紋，后來發現效率太低太低，讓人無法忍受，而且nmap在獲取指紋時經常出現內存錯誤導致無法掃描的情況，所以后來使用了masscan和zmap等結合的方式，目前也在嘗試使用zgrab等一些新的方式來提高效率和準確度。

10臺掃描節點用xshell進行管理：

2、十來臺探測節點中一半是用來探測新的任務，新的任務可以由前臺提交，在前臺沒有任務時會對隨機ip進行探測；另外一半節點是對舊的資產進行回歸探測，這樣基本能保證系統中的數據都能比較新。比較遺憾的是目前還只是保存最新的數據，對歷史數據沒有進行保存。

掃描節點的任務調度費了一些勁，目前是根據各掃描節點領取的任務和花費的時間進行評分，這樣一些優先級比較高的任務就可以調度評分高的掃描節點來執行任務。不過目前還都是在同一個局域網環境中，所以評分差別不是很大。經過測試，512內存和1G內存的評分的確有些差距。

3、對大范圍的ip地址的探測精準度和速度還有待提升，根據目前的探測效率大體算了下，全球互聯網精準探測估計得兩年大規模探測方面和zoomeye或fofa還差的太遠。。。留下了沒有技術的淚水。。。

指紋識別

1、對操作系統版本、開放端口、提供的服務、服務版本進行識別進行識別。

這部分主要是靠nmap來實現，目前也在研究指紋識別的一些原理性東西，打算以后能自己實現個探測引擎。nmap的最大問題是效率比較低，有時候配置一些參數(如--min-hostgroup和--min-parallelism)可以提高速度，但誤報率又會升高。所以在掃描時，節點會根據網絡情況自動選擇一些參數。

比較常用的參數：

nmap  -sS  -sV  -T4 -O --script=banner --open --min-hostgroup 1024 --min-parallelism 1024 --host-timeout 30m  -p 80

對掃描的結果進行提取分析，并導入數據庫。

沒有用pynmap庫，之前用了段時間發現經常報錯，好像和nmap的內存優化有一定關系。所以后來直接調用nmap，生成.xml再解析。

2、對服務端語言、Web開發框架、Web應用CMS、前端庫、第三方組件等進行識別。

web應用的指紋稍微復雜，自己實現了幾個小的工具來探測http頭、waf、cms等，借鑒了whatweb、wafw00f的一些思路。

3、通過接口查詢、字典枚舉等方式獲取該域名下的所有子域名，根據需要映射出目標網絡的整體結構。

對每個web目前都會進行子域名枚舉，這樣能進可能多的發現一些web應用，子域名枚舉借鑒了lijiejie和豬豬俠的子域名枚舉思路，還搭配使用了谷歌、百度子域名檢索等方式，并對泛解析也進行了預判。

掃描管理

1、漏洞掃描主要整合了wvs、w3af和自研的一些小平臺，把漏洞進行匯總整理，并導出詳細報告。

因為wvs的結果是英文的，如果需要提供報告給客戶的話友好度不高，所以對wvs的掃描結果、加固建議、漏洞描述等進行了漢化。

對wvs的漢化主要是爬取了wvs官方的漏洞庫，對較為常見的漏洞進行了人工翻譯，然后使用谷歌翻譯對其他漏洞進行了翻譯，人工進行了核對，最終大約包含670個漏洞。

漢化后的數據庫可從這個項目中獲取，https://github.com/TideSec/WDScanner，在數據庫文件的vul_cn表中。

2、可根據配置地址對應用系統進行自動掃描，還可設置定時掃描、掃描周期、掃描范圍等相關功能，以滿足用戶多元化需求。

3、可記錄漏洞的概念以及漏洞的整個生命周期，包括漏洞的產生、發現、公開、管理和消亡，并詳細介紹漏洞在生命周期中每個階段的成因、形式、發現方法和具體的應對措施。

POC檢測

1、POC檢測使用了成熟的POC框架POCSUITE，修改了一些接口，和Tide能完美對接，改寫了很多插件，讓檢測更自動化。

POC檢測應該是最有用的功能了，可以對某一地區某端口進行檢索，然后將結果導入到poc檢測任務中，進行快速、批量的檢測。

• POC管理

2、對常見插件漏洞、中間件漏洞等通用漏洞進行檢測，如weblogic反序列化、Struts2等漏洞進行驗證。在新漏洞爆發時，用戶可利用該功能進行針對性檢測。

• POC檢測結果

安全監測

1、在敏感信息對重點客戶進行持續性的監測，采用全文檢索、應用目錄枚舉、圖片文件檢查等手段對網站進行敏感信息檢測，并對發現的敏感信息進行導出，從而協助用戶對網站進行有效監管。

• 網站合規性監測

2、可7*24小時對網站進行監控，模擬訪客請求訪問，實時獲取響應狀態、響應時間、響應結果，及時發現網站異常情況。

• 網站可用性監測

3、針對網站出現增加、刪除、修改、掛馬等安全事件時進行實時快照并留存，用戶可快速找到安全事件記錄，以便進行溯源追查。

其他介紹

前臺展示

• 前臺主界面

查詢主界面，各種協議、端口總量的展示，平臺的簡介等。

• 數據統計

對全國范圍或某地區數據進行匯總展示，對各端口、協議進行圖表展示。

• 查詢語法

提供查詢語法、查詢接口等。

• 資產展示

借鑒了zoomeye和shodan的展示格式。

• 詳細數據

資產的詳細信息：url、ip、標題、端口、端口服務、服務版本號、cms信息、操作系統信息、web中間件信息、waf信息、xpb信息、ip地址信息等等

后臺管理

• 管理控制臺

還在完善，增加更多圖表數據，爭取高大上一些。

威脅情報

主要功能：

說是威脅情報，其實就是一堆漏洞庫和安全監測的數據，主要搜集爬取各公開漏洞庫并進行整理，對重點客戶常態監測暗鏈、敏感字等情況，另外添加了fangong黑客的監測，很雞肋的一個功能。

• 漏洞庫

• 安全感知

• 境外情報

指紋檢索

• 主機指紋管理

• 主機指紋詳情

• Web指紋管理

• Web指紋詳情

• 綜合檢索

綜合檢索能對系統內指紋進行更詳細的合種模式的檢索查詢，比前臺檢索功能更加強大，并可批量導出檢索結果。

ToDo

• 做個自己的前端！

• 完善策略，對空間探測效率和精準度進行提升

• 添加更多指紋庫，識別更多資產

• 對漏洞全生命周期的管理進行完善

• 降低敏感字、暗鏈、webshell的檢測誤報率

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。