python中如何使用Scrapy實現定時爬蟲

這篇文章將為大家詳細講解有關python中如何使用Scrapy實現定時爬蟲，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

python的數據類型有哪些?

python的數據類型：1. 數字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數據類型，集合中可以放任何數據類型。5. 元組，元組用”()”標識，內部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數據組合。

一般網站發布信息會在具體實現范圍內發布，我們在進行網絡爬蟲的過程中，可以通過設置定時爬蟲，定時的爬取網站的內容。使用python爬蟲框架Scrapy框架可以實現定時爬蟲，而且可以根據我們的時間需求，方便的修改定時的時間。

1、Scrapy介紹

Scrapy是python的爬蟲框架，用于抓取web站點并從頁面中提取結構化的數據。任何人都可以根據需求方便的修改。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。

2、使用Scrapy框架定時爬取

import time
from scrapy import cmdline
def doSth():
    # 把爬蟲程序放在這個類里 zhilian_spider 是爬蟲的name
    cmdline.execute('scrapy crawl zhilian_spider'.split())
 
# 想幾點更新,定時到幾點
def time_ti(h=17, m=54):
    while True:
        now = datetime.datetime.now()
        # print(now.hour, now.minute)
        if now.hour == h and now.minute == m:
            doSth()
        # 每隔60秒檢測一次
        time.sleep(60)
time_ti()

3、更簡單的寫法

import time
import sys
import os
import datetime
 
 
def Dingshi():
    while True:
        os.system("scrapy crawl lcp")#lcp是我們爬蟲的代碼名字哦
        time.sleep(60)
 
Dingshi()

關于“python中如何使用Scrapy實現定時爬蟲”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。