溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
簡介
一般批量爬取視頻或者圖片的套路是，使用爬蟲獲得文件鏈接集合，然后通過 writeFile 等方法逐個保存文件。然而，頭條的視頻，在需要爬取的 html 文件（服務端渲染輸出）中，無法捕捉視頻鏈接。視頻鏈接是頁面在客戶端渲染時，通過某些 js 文件內的算法或者解密方法，根據視頻的已知 key 或者 hash 值，動態計算出來并添加到 video 標簽的。這也是網站的一種反爬措施。
我們在瀏覽這些頁面時，通過審核元素，可以看到計算后的文件地址。然而在批量下載時，逐個手動的獲取視頻鏈接顯然不可取。開心的是，puppeteer 提供了模擬訪問 Chrome 的功能，使我們可以爬取經過瀏覽器渲染出來的最終頁面。
項目啟動
命令
npm i npm start
Notice: 安裝 puppeteer 的過程稍慢，耐心等待。
配置文件
// 配置相關
module.exports = {
originPath: 'https://www.ixigua.com', // 頁面請求地址
savePath: 'D:/videoZZ' // 存放路徑
}
技術點
puppeteer
官方API
puppeteer 提供一個高級 API 來控制 Chrome 或者 Chromium。
puppeteer 主要作用：
利用網頁生成 PDF、圖片
爬取SPA應用，并生成預渲染內容（即“SSR” 服務端渲染）
可以從網站抓取內容
自動化表單提交、UI測試、鍵盤輸入等
使用到的 API：
puppeteer.launch() 啟動瀏覽器實例
browser.newPage() 創建一個新頁面
page.goto() 進入指定網頁
page.screenshot() 截圖
page.waitFor() 頁面等待，可以是時間、某個元素、某個函數
page.$eval() 獲取一個指定元素，相當于 document.querySelector
page.$$eval() 獲取某類元素，相當于 document.querySelectorAll
page.$('#id .className') 獲取文檔中的某個元素，操作類似jQuery
代碼示例
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
視頻文件下載方法
下載視頻主方法
const downloadVideo = async video => {
// 判斷視頻文件是否已經下載
if (!fs.existsSync(`${config.savePath}/${video.title}.mp4`)) {
await getVideoData(video.src, 'binary').then(fileData => {
console.log('下載視頻中：', video.title)
savefileToPath(video.title, fileData).then(res =>
console.log(`${res}: ${video.title}`)
)
})
} else {
console.log(`視頻文件已存在：${video.title}`)
}
}
獲取視頻數據
getVideoData (url, encoding) {
return new Promise((resolve, reject) => {
let req = http.get(url, function (res) {
let result = ''
encoding && res.setEncoding(encoding)
res.on('data', function (d) {
result += d
})
res.on('end', function () {
resolve(result)
})
res.on('error', function (e) {
reject(e)
})
})
req.end()
})
}
將視頻數據保存到本地
savefileToPath (fileName, fileData) {
let fileFullName = `${config.savePath}/${fileName}.mp4`
return new Promise((resolve, reject) => {
fs.writeFile(fileFullName, fileData, 'binary', function (err) {
if (err) {
console.log('savefileToPath error:', err)
}
resolve('已下載')
})
})
}
目標網站：西瓜視頻
項目功能：下載頭條號【維辰財經】下的最新20個視頻
項目地址：Github 地址
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
