溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹“Nutch數據集的目錄具體內容是什么”，在日常操作中，相信很多人在Nutch數據集的目錄具體內容是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Nutch數據集的目錄具體內容是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！
#導出crawldb
bin/nutch readdb data/crawldb/ -dump data/crawldb_dump
#查看crawldb
Crawldb內容主要包括，抓取狀態、抓取此網頁的時間、對此網頁的重要度評分等url地址的詳細信息。
#查看linkdb
#查看segments
一次爬行會產生很多個段(segment)，段存儲的是爬蟲在一次抓取過程中抓到的網頁以及這些網頁的索引。爬蟲爬行時會根據crawldb中的鏈接關系按照一定的爬行策略生成每次抓取循環所需的預取列表(fetch list)，然后Fetcher類通過預取列表中的URL抓取這些網頁并索引，然后將其存入段中。
#查看segments目錄
Content：保存的是 fetcher 所抓取回來的源內容，html腳本
Crawl_fetch：包含每個抓取頁面的狀態
Crawl_generate:包含所抓取的網址列表
Crawl_parse: 包含網址的外部鏈接地址，用于更新crawldb數據庫
Parse_data: 包含每個頁面的外部鏈接和元數據
Parse_text: 包含每個抓取頁面的解析文本
到此，關于“Nutch數據集的目錄具體內容是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
