Node爬蟲項目的示例分析

這篇文章主要介紹了Node爬蟲項目的示例分析，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

First

Introduction

50 lines, minimalist node crawler for Trending.

一個50行的node爬蟲，一個簡單的 axios, express, cheerio 體驗項目。

Usage

首先保證電腦已存在node環境，然后

1.拉取本項目

git clone https://github.com/ZY2071/Crawler-for-Github-Trending.git
cd Crawler-for-Github-Trending
npm i
node index.js

2.或者下載本項目壓縮包，解壓

cd Crawler-for-Github-Trending-master // 進入項目文件夾
npm i
node index.js

Examples

當啟動項目后，可以看到控制臺輸出

Listening on port 3000!

 此時打開瀏覽器，進入本地服務 http://localhost:3000/daily

http://localhost:3000/time-language // time表示周期，language代表語言  例如：
http://localhost:3000/daily // 代表今日 可選參數：weekly,monthly
http://localhost:3000/daily-JavaScript// 代表今日的java分類 可選參數：任意語言

 稍微等待即可看到爬取完畢的返回數據：

[
 {
 "title": "lib-pku / libpku",
 "links": "https://github.com/lib-pku/libpku",
 "description": "貴校課程資料民間整理",
 "language": "JavaScript",
 "stars": "14,297",
 "forks": "4,360",
 "info": "3,121 stars this week"
 },
 {
 "title": "SqueezerIO / squeezer",
 "links": "https://github.com/SqueezerIO/squeezer",
 "description": "Squeezer Framework - Build serverless dApps",
 "language": "JavaScript",
 "stars": "3,212",
 "forks": "80",
 "info": "2,807 stars this week"
 },
 ...
]

More

本項目僅供爬取體驗，每次訪問都會實時爬取數據，所以數據返回速度會比較慢，實際操作應該是定時爬取數據然后將數據存進數據庫，數據從數據庫返回從而提高數據返回效率。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Node爬蟲項目的示例分析”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!