溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
使用nodejs寫了一個爬蟲的demo，目的是提取網頁的title部分。
遇到最大的問題就是網頁的編碼與nodejs默認編碼不一致造成的亂碼問題。nodejs支持utf8, ucs2, ascii, binary, base64, hex等編碼方式，但是對于漢語言來說編碼主要分為三種，utf-8,gb2312,gbk。這里面gbk是完全兼容gb2312的，因此在處理編碼的時候主要就分為utf-8以及gbk兩大類。（這是在沒有考慮到其他國家的編碼情況，比如日本的Shift_JIS編碼等，同時這里這個iconv-lite模塊支持的編碼方法有限）。
首先說一下瀏覽器顯示網頁內容的時候是如何處理編碼問題的。服務器和客戶端進行通信，服務端將網頁按照指定的編碼方式（比如gbk）編碼成為二進制碼流（即我們使用wireshark抓包看到額16進制碼流）傳送給我們的客戶端。客戶端則會根據網頁源碼中所規定的編碼方式，由瀏覽器調用對應的解碼器，將二進制碼流解碼后顯示出來。而編碼方式通常在網頁中是如下內容表示：
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8"/>
或者
<meta charset=utf-8"/>
如果客戶端是nodejs爬蟲請求程序，由于nodejs默認的編碼方式是utf-8，因此爬蟲程序將接收到的二進制碼流以字符串（默認方式utf-8）顯示的時候則會顯示亂碼。這個時候需要將原始的二進制碼流按照網頁原來的編碼方式解碼，則不會出現亂碼。
因此解決方法如下：
將接收到的網頁源碼以二進制的方式存儲下來，處理二進制數據流使用Buffer全局對象。
res.on('data', function(data) {
htmlData.push(data);
htmlDataLength += data.length;
});
var bufferHtmlData = Buffer.concat(htmlData,htmlDataLength);
然后對這些二進制的數據調用對應的解碼程序。iconv-lite模塊用于解碼，cheerio模塊用于解析網頁內容。
decodeHtmlData = iconv.decode(bufferHtmlData,'gbk');
var $ = cheerio.load(decodeHtmlData, {decodeEntities: false});
$('title','head').each(function(i, e) {
htmlHeadTitle = $(e).text();
console.log(htmlHeadTitle);
});
上述bufferHtmlData為二進制碼流，decodeHtmlData為將二進制碼流通過gbk編碼規則轉換為unicode編碼對應的數字（即usc2字節流），然后在轉換為對應的字符串。下述為iconv-lite源碼中解碼部分，地址在這里:
fromEncoding: function(buf) {
buf = ensureBuffer(buf);
var idx = 0, len = 0,
newBuf = new Buffer(len*2),unicode,gbkcode;
for (var i = 0, _len = buf.length; i < _len; i++, len++) {
if (!!(buf[i] & 0x80)) {//the high bit is 1, so this byte is gbkcode's high byte.skip next byte
i++;
}
}
var newBuf = new Buffer(len*2);
for (var i = 0, j = 0, _len = buf.length; i < _len; i++, j++) {
var temp = buf[i], gbkcode, unicode;
if (temp & 0x80) {
gbkcode = (temp << 8) + buf[++i];
unicode = table[gbkcode] || iconv.defaultCharUnicode.charCodeAt(0);//not found in table, replace with defaultCharUnicode
}else {
unicode = temp;
}
newBuf[j*2] = unicode & 0xFF;//low byte
newBuf[j*2+1] = unicode >> 8;//high byte
}
return newBuf.toString('ucs2');
}
可以看到最終返回的是newBuf.toString(‘ucs2')字符串。
爬蟲程序源碼如下：
var cheerio = require('cheerio');
var http = require('http');
var iconv = require('iconv-lite');
var htmlData = [];
var htmlDataLength = 0;
var count = 0;
http.globalAgent = 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1';
http.get('http://www.cr173.com', function(res) {
res.on('data', function(data) {
htmlData.push(data);
htmlDataLength += data.length;
count ++;
});
res.on('end',function(){
callback(htmlData);
});
});
function callback(htmlData){
console.log(count);
var bufferHtmlData = Buffer.concat(htmlData,htmlDataLength);
var charset = '';
var decodeHtmlData;
var htmlHeadTitle = '';
var htmlHeadCharset = '';
var htmlHeadContent = '';
var index = 0;
var $ = cheerio.load(bufferHtmlData, {decodeEntities: false});
$('meta','head').each(function(i, e) {
htmlHeadCharset = $(e).attr('charset');
htmlHeadContent = $(e).attr('content');
if(typeof(htmlHeadCharset) != 'undefined'){
charset = htmlHeadCharset;
}
if(typeof(htmlHeadContent) != 'undefined'){
if(htmlHeadContent.match(/charset=/ig)){
index = htmlHeadContent.indexOf('=');
charset = htmlHeadContent.substring(index+1);
}
}
});
//此處為什么需要對整個網頁進行轉嗎，是因為cheerio這個組件不能夠返回buffer,iconv則無法轉換之
if(charset.match(/gb/ig)){
decodeHtmlData = iconv.decode(bufferHtmlData,'gbk');
}
else{//因為有可能返回的網頁中不存在charset字段，因此默認都是按照utf8進行處理
decodeHtmlData = iconv.decode(bufferHtmlData,'utf8');
}
var $ = cheerio.load(decodeHtmlData, {decodeEntities: false});
$('title','head').each(function(i, e) {
htmlHeadTitle = $(e).text();
console.log(htmlHeadTitle);
});
console.log(charset);
}
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持億速云。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
