中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python中有什么爬蟲框架

發布時間:2021-10-28 16:24:14 來源:億速云 閱讀:168 作者:小新 欄目:編程語言

這篇文章給大家分享的是有關Python中有什么爬蟲框架的內容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。

1、Scrapy:Scrapy是一個為了爬取網站數據,提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘,信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架,可以滿足簡單的頁面爬取,比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對于稍微復雜一點的頁面,如weibo的頁面信息,這個框架就滿足不了需求了。它的特性有:HTML, XML源數據 選擇及提取 的內置支持;提供了一系列在spider之間共享的可復用的過濾器(即 Item Loaders),對智能處理爬取數據提供了內置支持。
  

2、Crawley:高速爬取對應網站的內容,支持關系和非關系數據庫,數據可以導出為JSON、XML等。
  

3、Portia:是一個開源可視化爬蟲工具,可讓使用者在不需要任何編程知識的情況下爬取網站!簡單地注釋自己感興趣的頁面,Portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講,它是基于scrapy內核;可視化爬取內容,不需要任何開發專業知識;動態匹配相同模板的內容。
  

4、newspaper:可以用來提取新聞、文章和內容分析。使用多線程,支持10多種語言等。作者從requests庫的簡潔與強大得到靈感,使用python開發的可用于提取文章內容的程序。支持10多種語言并且所有的都是unicode編碼。
  

5、python-goose:java寫的文章提取工具。Python-goose框架可提取的信息包括:文章主體內容、文章主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、元描述、元標簽。
  

6、Beautiful Soup:名氣大,整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數據的Python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。Beautiful Soup的缺點是不能加載JS。
  

7、mechanize:它的優點是可以加載JS。當然它也有缺點,比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法,還是勉強能用的。
  

8、selenium:這是一個調用瀏覽器的driver,通過這個庫你可以直接調用瀏覽器完成某些操作,比如輸入驗證碼。Selenium是自動化測試工具,它支持各種瀏覽器,包括 Chrome,Safari,Firefox 等主流界面式瀏覽器,如果在這些瀏覽器里面安裝一個 Selenium 的插件,可以方便地實現Web界面的測試. Selenium 支持瀏覽器驅動。Selenium支持多種語言開發,比如 Java,C,Ruby等等,PhantomJS 用來渲染解析JS,Selenium 用來驅動以及與 Python 的對接,Python 進行后期的處理。
  

9、cola:是一個分布式的爬蟲框架,對于用戶來說,只需編寫幾個特定的函數,而無需關注分布式運行的細節。任務會自動分配到多臺機器上,整個過程對用戶是透明的。項目整體設計有點糟,模塊間耦合度較高。
  

10、PySpider:一個國人編寫的強大的網絡爬蟲系統并帶有強大的WebUI。采用Python語言編寫,分布式架構,支持多種數據庫后端,強大的WebUI支持腳本編輯器,任務監視器,項目管理器以及結果查看器。python 腳本控制,可以用任何你喜歡的html解析包。

感謝各位的閱讀!關于“Python中有什么爬蟲框架”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

日照市| 乐陵市| 增城市| 阿城市| 仙游县| 长沙市| 金华市| 治多县| 岑巩县| 清丰县| 鄂伦春自治旗| 江都市| 衡南县| 南安市| 枣强县| 屏山县| 民丰县| 江阴市| 通山县| 伊通| 财经| 星子县| 越西县| 息烽县| 桐柏县| 弋阳县| 常宁市| 原阳县| 辽宁省| 平罗县| 江永县| 济宁市| 分宜县| 论坛| 陆丰市| 鹿邑县| 长丰县| 邢台县| 佛学| 临朐县| 柯坪县|