现在公司需要做一个功能。就是给个url地址。然后读出这个页面中的标题和正文。将其保存到数据库中。请问各位高手怎么做？有源码吗？先谢谢了！
[b]问题补充：[/b]
各位，我现在想要的是源码？你们说的这个控件我没有时间去学习他了。没有时间了！
[b]问题补充：[/b]
现在公司需要做一个功能。就是给个url地址。然后读出这个页面中的标题和正文。将其保存到数据库中。请问各位高手怎么做？有源码吗？先谢谢了！
[b]问题补充：[/b]
各位，我现在想要的是源码？你们说的这个控件我没有时间去学习他了。没有时间了！
各位我的问题是无法用第一正则表达式的因为我不是只读一个页面。
[code="java"]
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class WebContent
{
/**
读取一个网页全部内容
*/
public String getOneHtml(final String htmlurl) throws IOException
{
URL url;
String temp;
final StringBuffer sb = new StringBuffer();
try
{
url = new URL(htmlurl);
final BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(), "utf-8"));// 读取网页全部内容
while ((temp = in.readLine()) != null)
{
sb.append(temp);
}
in.close();
}
catch (final MalformedURLException me)
{
System.out.println("你输入的URL格式有问题！请仔细输入");
me.getMessage();
throw me;
}
catch (final IOException e)
{
e.printStackTrace();
throw e;
}
return sb.toString();
}
/**
@param s
@return 获得网页标题
/
public String getTitle(final String s)
{
String regex;
String title = "";
final List list = new ArrayList();
regex = ".?";
final Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
for (int i = 0; i < list.size(); i++)
{
title = title + list.get(i);
}
return outTag(title);
}
/**
@param s
@return 获得链接
/
public List getLink(final String s)
{
String regex;
final List list = new ArrayList();
regex = "]*href=(\"([^\"])\"|\'([^\']*)\'|([^\s>]*))[^>]*>(.*?)";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
/**
@param s
@return 获得脚本代码
/
public List getScript(final String s)
{
String regex;
final List list = new ArrayList();
regex = "<script.?";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
/**
@param s
@return 获得CSS
/
public List getCSS(final String s)
{
String regex;
final List list = new ArrayList();
regex = "<style.?";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
/**
@param s
@return 去掉标记
/
public String outTag(final String s)
{
return s.replaceAll("<.?>", "");
}
/**
@param s
@return 获取雅虎知识堂文章标题及内容
/
public HashMap getFromYahoo(final String s)
{
final HashMap hm = new HashMap();
final StringBuffer sb = new StringBuffer();
String html = "";
System.out.println("\n------------------开始读取网页(" + s + ")--------------------");
try
{
html = getOneHtml(s);
}
catch (final Exception e)
{
e.getMessage();
}
// System.out.println(html);
System.out.println("------------------读取网页(" + s + ")结束--------------------\n");
System.out.println("------------------分析(" + s + ")结果如下--------------------\n");
String title = outTag(getTitle(html));
title = title.replaceAll("_雅虎知识堂", "");
// Pattern pa=Pattern.compile("
.*?
", "");// 去图片注释}
/**
@param args
测试一组网页，针对雅虎知识堂
/
public static void main(final String args[])
{
String url = "";
final List list = new ArrayList();
System.out.print("输入URL，一行一个，输入结束后输入 go 程序开始运行: \n");
/
/*
// System.out.println(htmlurl+"网页内容结束");
/*
直接使用apache的httpclient组件包，超级简单
可以参考这篇
[url]http://www.ibm.com/developerworks/cn/opensource/os-httpclient/[/url]
另外，如果你需要源代码，我以前搞过一个网页采集程序，可以送给你
用java.net包就可以做，把url当作文件读取。将读取的内容进行分析，拿到标题和内容，然后存入数据库就可以了。如果页面是格式规范的HTML，可以当作xml文件进行解析，这样就更简单了。
标题和正文,主要你要去鉴别它们的存在方式.
标题--
-----关键是分析你要请求的路径.
想要现成的呀，但是大家没有时间写了。
java.net包不是什么控件，就是java的类库。这个功能，连带学习java.net包的时间，一个熟练的程序员用半天到一天的时间就可以搞定。
所以，思路大家给你提出来了，抓紧时间写一个吧。
用URLConnection类封装一个URL地址,然后转换成IO流进行读写操作,定义好分析标题和正文的正则表达式,符合条件就写到StringBuffer里,然后存入数据库就ok了!
哥们儿，这个问题你已经问了几天了，有时间早就自己做出来了。http://mil.news.sina.com.cn/2008-11-11/0821529628.html
拜托,你的页面抓取的规则是肯定要确定的啊.
如果你不能是一个网站的话.那你的程序给一个接口,让不同的网站之间的规则是可以变换啊.
别的也没什么,你写都写完了.
并不是每个人都会有你同样的需求,我上面的代码可以读取一些网页(taobao,yahoo),也并不是全部网页都能读取,每个网页规则不一样,这只能靠自己来改...
用htmlunit or httpunit都可以,然后通过正规式来匹配head & body
如果想偷懶，不想自己寫正則表達式，
那就用htmlparser.jar包。
這個功能很強大，不過你如果想能夠得到不同網站的網頁，恐怕是很難的，
因為不同的網頁含有廣告，邊框什麽的，不是單純的標題和正文。
中科院的網頁解析很牛，但是它是經過很多分析測試的。
如果有時間想研究，可以研究瀏覽器的實現原理了。