您好,登錄后才能下訂單哦!
scrapy導出文件時出現中文亂碼怎么辦?相信很多沒有經驗的人對此束手無策,這篇文章總結了scrapy導出文件時出現中文亂碼的解決辦法,通過這篇文章希望你能解決這個問題。
使用scrapy crawl spidername -o filename.json命令執行爬蟲,并將item寫入文件,發現中文亂碼,比如這樣子:
使用scrapy命令導出時指定編碼格式
scrapy crawl baidu -o baidu_med.json -s FEED_EXPORT_ENCODING=utf-8
借助Pipeline將item寫入到文件
1.修改pipelines.py,添加:
import json
import codecs
class YiyaoPipeline(object):
def __init__(self):
self.file = codecs.open('item.json', 'wb', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + '\n'
self.file.write(line)
return item
2.修改settings.py,激活pipeline:
ITEM_PIPELINES = {
'yiyao.pipelines.YiyaoPipeline': 300,
}
注意:settings.py默認有ITEM_PIPELINES配置,只是注銷掉了。
3.使用scrapy命令導出時,直接執行:
scrapy crawl baidu
看完這篇文章,你能夠獨立解決scrapy導出文件時出現中文亂碼的問題了嗎?如果還想學到更多技能或想了解更多相關內容,歡迎關注億速云行業資訊頻道,感謝各位的閱讀。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。