URL編碼與解碼(使用 Python3 urllib.parse) 與 貼吧小爬蟲案例

一．parse.urlencode() 與parse.unquote()

urllib 和urllib.request都是接受URL請求的相關模塊，但是提供了不同的功能。兩個最顯著的不同如下：

1.urllib 僅可以接受URL，不能創建 設置了headers 的Request 類實例；

2.但是 urllib 提供 urlencode 方法用來GET查詢字符串的產生，而urllib.request 則沒有。（這是 urllib 和urllib.request 經常一起使用的主要原因）

3.編碼工作使用urllib的parse.urlencode()函數，幫我們將key:value這樣的鍵值對轉換成"key=value"這樣的字符串，解碼工作可以使用urllib的parse.unquote()函數。

一般HTTP請求提交數據，需要編碼成 URL編碼格式，然后做為url的一部分，或者作為參數傳到Request對象中。

例子：

from urllib import parse                     # 導入parse模塊
import urllib.request                          # 導入request模塊

url = 'https://www.baidu.com/s?'       # 定義一個字典
wd = {"wd": "溫故知新"}
pw = parse.urlencode(wd)                # urlencode() 接受的參數是一個字典
print(pw)

wd1 = {"wd1": "溫"}                          # urlencode() 接受的參數是一個字典
pw1 = parse.urlencode(wd1)
print(pw1)

wd2 = {"wd2": "故"}
pw2 = parse.urlencode(wd2)
print(pw2)

wd3 = {"wd3": "知"}
pw3 = parse.urlencode(wd3)
print(pw3)

wd4 = {"wd4": "新"}
pw4 = parse.urlencode(wd4)
print(pw4)

print(parse.unquote(pw))                # 通過parse.unquote()方法進行解碼，把 URL編碼字符串，轉換回原先字符串。

Get方式，urllib庫與urllib.request庫的結合應用

一：貼吧小爬蟲案例

__author__ = 'ALunr'
# date: 2019/5/3
from urllib import parse
import urllib.request

# 寫一個爬取網頁的函數loadPage
def loadPage(url, filename):
    '''
        作用：根據url發送請求，獲取服務器響應文件
        url：需要爬取的url地址
        filename: 處理的文件名
    '''
    print("正在下載" + filename)
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"
        }

    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    return response.read()

# 將爬取到了每頁的信息存儲在本地磁盤上，簡單寫一個存儲文件的接口。
def writeFile(html, filename):
    """
        作用：保存服務器響應文件到本地磁盤文件里
        html: 服務器響應文件
        filename: 本地磁盤文件名
    """
    print("正在存儲" + filename)
    with open(filename, 'w') as f:
        f.write(html)
    print("-" * 20)

# 寫一個百度貼吧爬蟲接口，我們需要傳遞3個參數給這個接口， 
#一個是main里組合的url地址，以及起始頁碼和終止頁碼，表示要爬取頁碼的范圍。
def tiebaSpider(url, beginPage, endPage):
    """
        作用：負責處理url，分配每個url去發送請求
        url：需要處理的第一個url
        beginPage: 爬蟲執行的起始頁面
        endPage: 爬蟲執行的截止頁面
    """
    for page in range(beginPage, endPage + 1):
        pn = (page - 1) * 50
        filename = "第" + str(page) + "頁.html"

        fullurl = url + "&pn=" + str(pn)                            # 組合為完整的 url，并且pn值每次增加50
        print(fullurl)
        print(filename)

        html = loadPage(fullurl, filename)                     # 調用loadPage()發送請求獲取HTML頁面
        writeFile(html, filename)                                   # 將獲取到的HTML頁面寫入本地磁盤文件

    # 先寫一個main，提示用戶輸入要爬取的貼吧名，并用parse.urlencode()
    # 進行轉碼，然后組合url，假設是lol吧，那么組合后的url就是：http: // tieba.baidu.com / f?kw = lol
# 模擬 main 函數
if __name__ == "__main__":
    kw = input("請輸入需要爬取的貼吧:")
    # 輸入起始頁和終止頁，str轉成int類型
    beginPage = int(input("請輸入起始頁："))
    endPage = int(input("請輸入終止頁："))

    url = "http://tieba.baidu.com/f?"
    key = parse.urlencode({"kw": kw})
    url = url + key
    print(url)                                                               # 組合后的url示例：http://tieba.baidu.com/f?kw=lol
    tiebaSpider(url, beginPage, endPage)