Python爬蟲框架的組成需要具備什么功能

這篇文章主要介紹Python爬蟲框架的組成需要具備什么功能，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

1、組成

爬蟲框架需要具備哪些功能。Scrapy，pyspider有http請求庫，html解析工具，數據庫存儲等，但其實最核心的是他們的調度（scheduler）程序：即如何讓你的請求，解析，存儲協同工作。

一個最小的爬蟲框架只需要一套調度程序就可以了，其他的請求，解析，存儲都可以作為框架的擴展來使用，比如：gaoxinge/spidery。另外既然一個最小的爬蟲框架只有一套調度程序，那么它也可以用來做非爬蟲的工作。

2、實例

# -*- coding: utf-8 -*-
"""
url: https://stackoverflow.com/questions
fetch: requests
parse: lxml
presist: txt
"""
import requests
from lxml import etree
from spidery import Spider
 
spider = Spider(
    urls = ['http://stackoverflow.com/questions/?page=' + str(i) + '&sort=votes' for i in range(1, 4)],
)
 
@spider.fetch
def fetch(url):
    response = requests.get(url)
    return response
 
@spider.parse
def parse(response):
    root = etree.HTML(response.text)
    results = root.xpath('//div[@class=\'question-summary\']')
    for result in results:
        question = {}
        question['votes']   = result.xpath('div[@class=\'statscontainer\']//strong/text()')[0]
        question['answers'] = result.xpath('div[@class=\'statscontainer\']//strong/text()')[1]
        question['views']   = result.xpath('div[@class=\'statscontainer\']/div[@class=\'views supernova\']/text()')[0].strip()
        question['title']   = result.xpath('div[@class=\'summary\']/h4/a/text()')[0]
        question['link']    = result.xpath('div[@class=\'summary\']/h4/a/@href')[0]
        yield question, None
 
@spider.presist
def presist(item):
    f.write(str(item) + '\n')
 
f = open('stackoverflow.txt', 'wb')
spider.consume_all()
f.close()

python的數據類型有哪些?

python的數據類型：1. 數字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數據類型，集合中可以放任何數據類型。5. 元組，元組用”()”標識，內部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數據組合。

以上是“Python爬蟲框架的組成需要具備什么功能”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！