怎么用Python采集北京二手房數據

這篇文章主要介紹“怎么用Python采集北京二手房數據”，在日常操作中，相信很多人在怎么用Python采集北京二手房數據問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么用Python采集北京二手房數據”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1、工具說明

本文用到的 Python 庫有

外加百度地圖 API

2、數據采集

所有數據來源于鏈家二手房交易平臺，上面每頁排列 30 條二手房數據，本文采集了前 100 頁 數據，每條二手房交易數據中提取 標題、單價、價格、地址、年份、房間樣式 等字段作為可視化分析的數據來源

網站沒有設置很強的反爬機制， 爬取時用的是 requests + Cookies+ PyQuery 組合即可，最好在爬取時加條 time.sleep() 命令，隔幾秒休眠一次，部分代碼如下：

最終一共采集到 3000 條數據

3、地址經緯度坐標轉換

獲取到的數據是地址是字符串形式(例如梵谷水郡*酒仙橋)，后面地圖位置標記時需要經緯度數據，需要把所有地址轉化為經緯度坐標，這里借助了百度地圖 API 完成這步操作

1、百度地圖 AK 申請

API 的使用需要在百度地圖開放平臺申請一個 AK 效驗碼，登錄自己的百度賬號，在控制臺創建一個應用，

控制臺面板-> 我的應用-> 創建應用

其他參數默認，應用名稱自定義命名即可，IP 白名單填入 0.0.0.0/0，點擊提交

以上步驟操作完之后，控制臺面板會多出一個應用，就是剛剛我們建立的，

2、地址經緯度坐標轉換

獲取到你的 AK 參數之后，把 AK 和 address(中文地址) 作為參數傳入下面函數中，就能獲取到對應的經緯度坐標

def get_location(address,AK):    #根據地址轉化為經緯度    try:
        url = 'http://api.map.baidu.com/geocoding/v3/?address={}&output=json&ak={}&callback=showLocation'.format(address,AK)
        res_test = requests.get(url).text
        res = re.search('\((.*?)\)', res_test).group(0).strip('(').strip(')')
        lng = json.loads(res)['result']['location']['lng']
        lat = json.loads(res)['result']['location']['lat']
        print(lng, lat)
        return lng, lat
    except Exception as e:
        print('error ---------\n')
        return None

百度地圖 API 的 地址經緯度轉換 功能 定位不僅僅局限于省、市，還能定位到門牌號，只要你提供的地址越詳細，獲取的經緯度信息越準確

4、可視化分析

這一部分進入可視化分析內容，城市畢竟是北京么所以首要的就是關注房價問題，在抓取的數據中，最高的將近19萬+/每平方，最低的僅有 1.5 萬/每平方

我看到 1.5 萬每平方就不淡定了，這數據肯定有貓膩(北京房價按常理不可能這么低)；為了驗證想法，首先做了房產地段標記先看

上面是房價最高 Top10 的地段位置，看起來地理位置還行，都是在三環四環之內、分布在市中心附件，如果單看這張圖的地圖的話得不到有用的信息，可以對比一下 房價最低 Top10

上面北京二手房房價排名后十 地段分布，房價在 1.5萬-3萬 不等，沒看到這個分布圖之前僅僅認為上面價格是賣家標錯了，看完這個圖后才發現賣家是 掛著羊頭賣狗肉，掛著北京的名號，賣著北京以外的房子(有的房子已經位于河北境內)，這可能就是賣房的套路之一吧

事出反常必有妖，無論買房還是買其他商品也好，賣家不會平白無故地給我們優惠，當價格遠低于市場價之前交易需慎重、慎重、再慎重！

房價我分為 5 個區間，分別為 0-3萬、3-8萬、8-12萬、12-15萬，15萬+ 五段，

其中房價位于 3-8萬 占比最大達 76 %占比，次之就是8-12萬、12-15萬，依次占比為16.38%、3.46%，而房價位于 15 萬 + 占比最少，僅有1.12% 左右；

接下來我們再看一下，不同價位二手房在北京的分布

15萬+的

8-12萬

3-8萬

從地段分布來看北京房價以8萬作為分水嶺，8萬+和8萬以內房產分布明顯變化，價格越高，越靠市中心以外；從地圖信息來看，想在北京買一套地段不錯的房子，預期房價最低也要在8萬+，8 萬是什么概念，也就說如果你想在北京買一套50平米的房子，最低也要 400萬！

關于15萬+ 的房產，大致都分布兩個區域，一個是高校區(周圍是人大、北航、清華等高校)，另一個位于右下角，也就是北京朝陽區

北京賣的二手房不一定都是裝修之后的，有可能也是毛坯(剛建造交付之后，未進行任何裝修)；參考下圖，北京二手房中毛坯占比約1.39%共41套，戶主買來這些房子大概率用于資產增值而不是作為剛需；

借助 Treemap 圖再看一下北京二手房建筑時間分布，大部分都集中于2002-2010 這 9 年，北京房產也是在這段期間迅速發展， 到 2015 年之后明顯收緩，源于可建筑地段已經達到飽和再加上國家相關政策的施壓

到此，關于“怎么用Python采集北京二手房數據”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！