您好,登錄后才能下訂單哦!
這篇文章主要介紹了python用哪些軟件寫爬蟲,具有一定借鑒價值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
代碼編輯運行環境:
個人推薦PyCharm社區版,當然,Python自帶的IDLE也行,Notepad++亦可,只要自己使用得習慣。
F12 開發者工具
看源代碼:快速定位元素分析xpath:1、此處建議谷歌系瀏覽器,可以在源碼界面直接右鍵看
抓包工具
推薦httpfox,火狐瀏覽器下的插件,比起谷歌火狐是自帶的F12工具都要好,可以方便查看網站收包發包的信息
XPATH CHECKER (火狐插件)
非常不錯的xpath測試工具,不過也有幾個小缺點,:
xpath checker生成的是絕對路徑,遇到一些動態生成的圖標(常見的有列表翻頁按鈕等),飄忽不定的絕對路徑很有可能造成錯誤,所以這里建議在真正分析的時候,只是作為參考記得把如下圖xpath框里的“x:”去掉,貌似這個是早期版本xpath的語法,目前已經和一些模塊不兼容(比如scrapy),還是刪去避免報錯。
正則表達測試工具
在線正則表達式測試 ,拿來多練練手,也輔助分析!里面有很多現成的正則表達式可以用,也可以進行參考!
感謝你能夠認真閱讀完這篇文章,希望小編分享python用哪些軟件寫爬蟲內容對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,遇到問題就找億速云,詳細的解決方法等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。