中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

java使用url如何實現爬取網頁中的內容

發布時間:2020-11-11 16:55:36 來源:億速云 閱讀:337 作者:Leah 欄目:編程語言

這期內容當中小編將會給大家帶來有關java使用url如何實現爬取網頁中的內容,文章內容豐富且以專業的角度為大家分析和敘述,閱讀完這篇文章希望大家可以有所收獲。

運行效果:

java使用url如何實現爬取網頁中的內容

首先打開百度百科,搜索詞條,比如“演員”,再按F12查看源碼

java使用url如何實現爬取網頁中的內容

然后抓取你想要的標簽,注入LinkedHashMap里面就ok了,很簡單是吧!看看代碼羅

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;
/**
 * Created by chunmiao on 17-3-10.
 */
public class ReadBaiduSearch {
 //儲存返回結果
 private LinkedHashMap<String,String> mapOfBaike;
 //獲取搜索信息
 public LinkedHashMap<String,String> getInfomationOfBaike(String infomationWords) throws IOException {
  mapOfBaike = getResult(infomationWords);
  return mapOfBaike;
 }
 //通過網絡鏈接獲取信息
 private static LinkedHashMap<String, String> getResult(String keywords) throws IOException {
  //搜索的url
  String keyUrl = "http://baike.baidu.com/search&#63;word=" + keywords;
  //搜索詞條的節點
  String startNode = "<dl class=\"search-list\">";
  //詞條的鏈接關鍵字
  String keyOfHref = "href=\"";
  //詞條的標題關鍵字
  String keyOfTitle = "target=\"_blank\">";
  String endNode = "</dl>";
  boolean isNode = false;
  String title;
  String href;
  String rLine;
  LinkedHashMap<String,String> keyMap = new LinkedHashMap<String,String>();
  //開始網絡請求
  URL url = new URL(keyUrl);
  HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
  InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
  BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
  //讀取網頁內容
  while ((rLine = bufferedReader.readLine()) != null){
   //判斷目標節點是否出現
   if(rLine.contains(startNode)){
    isNode = true;
   }
   //若目標節點出現,則開始抓取數據
   if (isNode){
    //若目標結束節點出現,則結束讀取,節省讀取時間
    if (rLine.contains(endNode)) {
     //關閉讀取流
     bufferedReader.close();
     inputStreamReader.close();
     break;
    }
    //若值為空則不讀取
    if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
     keyMap.put(title,href);
    }
   }
  }
  return keyMap;
 }
 //獲取詞條對應的url
 private static String getHref(String rLine,String keyOfHref){
  String baikeUrl = "http://baike.baidu.com";
  String result = "";
  if(rLine.contains(keyOfHref)){
   //獲取url
   for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
    result += rLine.charAt(j);
   }
   //獲取的url中可能不含baikeUrl,如果沒有則在頭部添加一個
   if(!result.contains(baikeUrl)){
    result = baikeUrl + result;
   }
  }
  return result;
 }
 //獲取詞條對應的名稱
 private static String getName(String rLine,String keyOfTitle){
  String result = "";
  //獲取標題內容
  if(rLine.contains(keyOfTitle)){
   result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
   //將標題中的內容含有的標簽去掉
   result = result.replaceAll("<em>|</em>|</a>|<a>","");
  }
  return result;
 }
}

上述就是小編為大家分享的java使用url如何實現爬取網頁中的內容了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

宝山区| 兴安县| 射洪县| 伊川县| 海阳市| 兴山县| 桑植县| 金门县| 北辰区| 荆州市| 肥城市| 滦平县| 招远市| 墨竹工卡县| 松潘县| 大名县| 衡阳市| 库尔勒市| 宁明县| 申扎县| 建德市| 合江县| 梁平县| 英超| 蛟河市| 本溪市| 涞水县| 大洼县| 张北县| 北安市| 霍林郭勒市| 凌海市| 南投市| 云龙县| 唐山市| 西乡县| 海南省| 陇川县| 广昌县| 延庆县| 磐安县|