Java网络爬虫怎么实现

一、Java网络爬虫怎么实现

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。对于垂直搜索来说，聚焦爬虫，即有针对性地爬取特定主题网页的爬虫，更为适合。

以下是一个使用java实现的简单爬虫核心代码：

public void crawl() throws Throwable{

CrawlerUrl url= getNextUrl();//获取待爬取队列中的下一个URL

String content= getContent(url);//获取URL的文本信息

//聚焦爬虫只爬取与主题内容相关的网页，这里采用正则匹配简单处理

if(isContentRelevant(content, this.regexpSearchPattern)){

saveContent(url, content);//保存网页至本地

//获取网页内容中的链接，并放入待爬取队列中

Collection urlStrings= extractUrls(content, url);

addUrlsToUrlQueue(url, urlStrings);

System.out.println(url+" is not relevant ignoring...");

Thread.sleep(this.delayBetweenUrls);

private CrawlerUrl getNextUrl() throws Throwable{

while((nextUrl== null)&&(!urlQueue.isEmpty())){

CrawlerUrl crawlerUrl= this.urlQueue.remove();

//doWeHavePermissionToVisit：是否有权限访问该URL，友好的爬虫会根据网站提供的"Robot.txt"中配置的规则进行爬取

//isUrlAlreadyVisited：URL是否访问过，大型的搜索引擎往往采用BloomFilter进行排重，这里简单使用HashMap

//isDepthAcceptable：是否达到指定的深度上限。爬虫一般采取广度优先的方式。一些网站会构建爬虫陷阱（自动生成一些无效链接使爬虫陷入死循环），采用深度限制加以避免

if(doWeHavePermissionToVisit(crawlerUrl)

&&(!isUrlAlreadyVisited(crawlerUrl))

&& isDepthAcceptable(crawlerUrl)){

// System.out.println("Next url to be visited is"+ nextUrl);

private String getContent(CrawlerUrl url) throws Throwable{

//HttpClient4.1的调用与之前的方式不同

HttpClient client= new DefaultHttpClient();

HttpGet httpGet= new HttpGet(url.getUrlString());

StringBuffer strBuf= new StringBuffer();

HttpResponse response= client.execute(httpGet);

if(HttpStatus.SC_OK== response.getStatusLine().getStatusCode()){

HttpEntity entity= response.getEntity();

BufferedReader reader= new BufferedReader(

new InputStreamReader(entity.getContent(),"UTF-8"));

if(entity.getContentLength()> 0){

strBuf= new StringBuffer((int) entity.getContentLength());

while((line= reader.readLine())!= null){

public static boolean isContentRelevant(String content,

Matcher m= regexpPattern.matcher(content.toLowerCase());

public List extractUrls(String text, CrawlerUrl crawlerUrl){

extractHttpUrls(urlMap, text);

extractRelativeUrls(urlMap, text, crawlerUrl);

return new ArrayList(urlMap.keySet());

private void extractHttpUrls(Map urlMap, String text){

String[] terms= url.split("a href=\"");

// System.out.println("Term="+ term);

int index= term.indexOf("\"");

term= term.substring(0, index);

System.out.println("Hyperlink:"+ term);

private void extractRelativeUrls(Map urlMap, String text,

Matcher m= relativeRegexp.matcher(text);

URL textURL= crawlerUrl.getURL();

String host= textURL.getHost();

String[] terms= url.split("a href=\"");

int index= term.indexOf("\"");

term= term.substring(0, index);

System.out.println("Relative url:"+ s);

public static void main(String[] args){

Queue urlQueue= new LinkedList();

urlQueue.add(new CrawlerUrl(url, 0));

NaiveCrawler crawler= new NaiveCrawler(urlQueue, 100, 5, 1000L,

// boolean allowCrawl= crawler.areWeAllowedToVisit(url);

// System.out.println("Allowed to crawl:"+ url+""+

System.out.println(t.toString());

二、java 网络爬虫怎么实现

1、在打开的ie浏览器窗口右上方点击齿轮图标，选择“Internet选项”，如下图所示：

2、在打开的Internet选项窗口中，切换到安全栏，在安全选卡中点击“自定义级别”，如下图所示：

3、在“安全设置-Internet区域”界面找到“Java小程序脚本”、“活动脚本”，并将这两个选项都选择为“禁用”，然后点击确定,如下图所示：

三、如何java写/实现网络爬虫抓取网页

原理即是保存cookie数据保存登陆后的cookie.以后每次抓取页面把cookie在头部信息里面发送过去。系统是根据cookie来判断用户的。有了cookie就有了登录状态，以后的访问都是基于这个cookie对应的用户的。补充：Java是一种可以撰写跨平台应用软件的面向对象的程序设计语言。Java技术具有卓越的通用性、高效性、平台移植性和安全性，广泛应用于PC、数据中心、游戏控制台、科学超级计算机、移动电话和互联网，同时拥有全球最大的开发者专业社群。