怎么在Node.js中使用cheerio制作一個網頁爬蟲

今天就跟大家聊聊有關怎么在Node.js中使用cheerio制作一個網頁爬蟲，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

1. 目標

1. 完成對網站的標題信息獲取

2. 將獲取到的信息輸出在一個新文件

3. 工具: cheerio，使用npm下載npm install cheerio

4. cheerio的API使用方法和jQuery的使用方法基本一致

5. 如果熟練使用jQuery，那么cheerio將會很快上手

2. 代碼部分

介紹: 獲取segment fault頁面的列表標題，將獲取到的標題列表編號，最終輸出到pageTitle.txt文件里

const https = require('https');
const fs = require('fs');
const cheerio = require('cheerio');
const url = 'https://segmentfault.com/';

https.get(url, (res) => {
  let html = '';
  res.on('data', (data) => {
    html += data;
  });
  res.on('end', () => {
    getPageTitle(html);
  });
}).on('error', () => {
  console.log('獲取網頁信息錯誤');
});

function getPageTitle(html) {
  const $ = cheerio.load(html);
  let chapters = $('.news__item-title');
  let data = [];
  let index = 0;
  let fileName = 'pageTitle.txt';
  for (let i = 0; i < chapters.length; i++) {
    let chapterTitle = $(chapters[i]).find('a').text().trim();
    index++;
    data.push(`\n${index}, ${chapterTitle}`);
  }
  fs.writeFile(fileName, data, 'utf8', (err) => {
    if (err) {
      console.log('fs文件系統創建新文件失敗', err);
    }
    console.log(`已成功將獲取到的標題放入新文件${fileName}文件中`)
  })
}

看完上述內容，你們對怎么在Node.js中使用cheerio制作一個網頁爬蟲有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。