手机
当前位置:查字典教程网 >编程开发 >JSP教程 >Java 获取URL的内容
Java 获取URL的内容
摘要:Java获取URL内容的,我这里只给出GET方式的,POST和其它方式的都是比较类似的。其技术要点就一下三点。第一:创建HttpURLCon...

Java获取URL内容的,我这里只给出GET方式的,POST和其它方式的都是比较类似的。其技术要点就一下三点。

第一:创建HttpURLConnection

第二:打开URL,创建一个InputStream

第三:逐行(逐字节)读取,如果需要,转换编码,放入字符串。

好,一下就开始代码吧:

复制代码 代码如下:

public String getUrlContent(String path){

String rtn = "";

int c;

try{

java.net.URL l_url = new java.net.URL(path);

java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();

l_connection.setRequestProperty("User-agent","Mozilla/4.0");

l_connection.connect();

InputStream l_urlStream = l_connection.getInputStream();

while (( ( c= l_urlStream.read() )!=-1)){

int all=l_urlStream.available();

byte[] b =new byte[all];

l_urlStream.read(b);

rtn+= new String(b, "UTF-8");

}

//Thread.sleep(2000);

l_urlStream.close();

}catch(Exception e){

e.printStackTrace();

}

return rtn;

}

其中

l_connection.setRequestProperty("User-agent","Mozilla/4.0");

这句是必须的,很多服务器对于没有User-agent头的请求直接403了就。

然后采用InputStream.available()来一次性读取,返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取(或跳过)的字节数,如果需要的话,可以在后面稍微Sleep一下线程:

Thread.sleep(2000);

其中的

复制代码 代码如下:

while (( ( c= l_urlStream.read() )!=-1)){

int all=l_urlStream.available();

byte[] b =new byte[all];

l_urlStream.read(b);

rtn+= new String(b, "UTF-8");

}

是个很重要的读取过程,c表示读取流的标注,当结束的时候是-1,然后all是本次循环可用的最大字节数目,然后读取全部可用字节到byte[] b中,然后转换成UTF-8类型的字符串,注意,这里可以自己写方式,如果读取GB2312,就要写GB2312,至于有没有万能的,可以获取Meta,匹配下。自己想办法吧。

【Java 获取URL的内容】相关文章:

java Lucene 中自定义排序的实现

JSP的内部对象

Java和jsp编程中应该注意的几个常见问题

Java学习的捷径

JSP转发和重定向的区别分析

Hibernate获得成功的十大理由

初学Java的备忘录

Java Servlet及Cookie的使用

JSP的自定义标签

Java Web中的安全控制

精品推荐
分类导航