python爬蟲urljoin()如何生成鏈接

這篇文章給大家分享的是有關python爬蟲urljoin()如何生成鏈接的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

urlunparse()和urlunsplit()方法，我們可以完成鏈接的合并，但前提是必須有一個特定長度的對象，鏈接的每個部分都應該清晰地分開。除此之外還有urljoin()方法。

1、urljoin()可以實現生成鏈接。提供base_url(基本鏈接)作為第一個參數，以新鏈接作為第二個參數。

2、該方法將分析base_url的scheme、netloc和path，并補充新鏈接缺失的部分，最終返回結果。

實例

from urllib.parse import urljoin
 
print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://cuiqingcai.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

輸出

http://www.baidu.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html
https://cuiqingcai.com/FAQ.html?question=2
https://cuiqingcai.com/index.php
http://www.baidu.com?category=2#comment
www.baidu.com?category=2#comment
www.baidu.com?category=2

感謝各位的閱讀！關于“python爬蟲urljoin()如何生成鏈接”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！