Python如何爬取商家聯系電話以及各種數據

小編給大家分享一下Python如何爬取商家聯系電話以及各種數據，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

首先我學習時用的是114黃頁數據。

下面四個是用到的模塊，前面2個需要安裝一下，后面2個是python自帶的。

import requests
from bs4 import BeautifulSoup
import csv
import time

然后，寫個函數獲取到頁面種想要的數據，記得最后的return返回一下，因為下面的函數要到把數據寫到csv里面。

def get_content(url,data=None):
 header = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
  'Accept-Encoding': 'gzip, deflate',
  'Accept-Language': 'zh-CN,zh;q=0.8',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36',
 }
 r = requests.get(url, headers=header)
 soup = BeautifulSoup(r.content, 'html.parser')
 data = soup.body.find('div',{'id':'news_con'})
 ul = data.find('ul')
 lis = ul.find_all('li')
 pthons=[]

 for item in lis:
  rows=[]
  name= item.find('h5').string
  rows.append(name)
  tel = item.find_all("div")[2].string
  rows.append(tel)
  pthons.append(rows)
  time.sleep(1)
 return pthons

接著：把數據寫到表格里面。我這里用到的是csv,方便閱覽。

def write_data(data,name):
 file_name=name
 with open(file_name, "w", newline='') as csvfile:
  writer = csv.writer(csvfile)
  writer.writerow(["商鋪名稱", "聯系電話"])
  writer.writerows(data)
  print('抓取完成')

最后就是執行這些函數：

if __name__ == '__main__':
 url = 'http://ty.114chn.com/CustomerInfo/Customers?cid=008004008&page=2'
 mydata = get_content(url)
 write_data(mydata,'phone.csv')

在這里我想到應該把url寫成動態的，因為這里面有頁數。讓page寫成循環自動+1，當然，可以在網頁看到一共多少頁。寫個循環執行。就更完美了。

以上是“Python如何爬取商家聯系電話以及各種數據”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！