Python怎么使用selenium + headless chrome獲取網頁內容

這篇文章主要介紹了Python怎么使用selenium + headless chrome獲取網頁內容，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

使用python寫爬蟲時，優選selenium，由于PhantomJS因內部原因已經停止更新，最新版的selenium已經使用headless chrome替換掉了PhantomJS，所以建議將selenium更新到最新版，使用selenium + headless chrome

準備工作：

安裝chrome、chrome driver、selenium

一、安裝chrome

配置yum下載源，在目錄/etc/yum.repos.d/下新建文件google-chrome.repo

> cd /ect/yum.repos.d/
> vim google-chrome.repo

編輯google-chrome.repo，內容如下，保存退出

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

安裝google chrome瀏覽器：

> yum -y install google-chrome-stable

PS: Google官方源可能在中國無法使用，導致安裝失敗或者在國內無法更新，可以添加以下參數來安裝：

> yum -y install google-chrome-stable --nogpgcheck

這樣，google chrome即可安裝成功。

二、安裝chrome driver

查看上述安裝的chrome版本，根據版本選擇對應的chrome driver下載，下載之后放到/usr/local/bin目錄

三、安裝selenium

> pip install selenium

上述準備工作完成后，就可以開始寫代碼了

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options


options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('lang=zh_CN.UTF-8')

# 在linux上需要添加一下兩個參數
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')

browser = Chrome(chrome_options=options)
browser.set_page_load_timeout(30)
browser.set_script_timeout(30)
browser.get(url)

# 獲取返回內容
print browser.page_source

# 查找元素
print browser.find_element_by_tag_name('pre').text

備注：如果訪問一些詳情頁有cookie驗證，可以先訪問主頁，然后再訪問詳情頁，webdriver會自動攜帶cookie

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Python怎么使用selenium + headless chrome獲取網頁內容”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!