关于抓取带有参数的url源码的问题

穷凶极恶 发布于 2015/10/28 10:18
阅读 237
收藏 0

现在在用spring mvc做一个小项目,需要抓取url对应网址的源码,我用的是httpUrlConnection,在url不带参数的情况下抓取没有问题,但是在有参数的地址就会报错,错误如下:

java.io.IOException: Server returned HTTP response code: 500 for URL

百度看到有人说是“因为服务器的安全设置不接受Java程序作为客户端访问,解决方案是设置客户端的User Agent”于是我就在代码中加了这么一句

connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

但是仍然是同样的结果,有人遇到过类似的问题么,可否指点一下小弟,不胜感激

加载中
0
腾讯公告
腾讯公告
地址都不给出来,谁知道什么情况
0
不日小鸡
服务器还能知道是JAVA客户端访问?
0
开胃
开胃
能好好问问题嘛
0
狐狸糊涂
狐狸糊涂

500服务器错,可能是你加的参数有问题,服务器报错了,看看返回的body是什么内容。检查下你的URL后参数有没有问题,可以拿浏览器或者curl先验证下你这个URL访问是否正常。

0
xuqingkai
xuqingkai
把你请求的参数拼接出来,人工访问下,,看看什么
0
Sean!Zen
Sean!Zen
500内部服务器错误,你访问的网址可能有问题、或者参数有问题、或者对方服务器挂了?
0
穷凶极恶
穷凶极恶

引用来自“狐狸糊涂”的评论

500服务器错,可能是你加的参数有问题,服务器报错了,看看返回的body是什么内容。检查下你的URL后参数有没有问题,可以拿浏览器或者curl先验证下你这个URL访问是否正常。

先谢谢啊  我用浏览器直接打开地址是没有问题的  本来带参数的地址是访问不到的 但是我把拦截器给屏蔽了 现在直接带着参数访问url是可以的 
狐狸糊涂
狐狸糊涂
说了半天,你还是没有把具体出错的信息发出来,没有这个,怎么诊断是什么问题呢?
0
穷凶极恶
穷凶极恶

引用来自“腾讯公告”的评论

地址都不给出来,谁知道什么情况

我现在是要抓取我自己本地生成的url,因为网站还没有发布所以写出来也访问不到,就是类似

“http://localhost:8080/test/testOrderXXXXController.do?addorupdate&id=6”这样的地址

0
穷凶极恶
穷凶极恶

引用来自“浓情的屌丝”的评论

能好好问问题嘛
实在抱歉哥们,我还是个小白,很多东西不懂,问题问的确实很不专业,多包涵
0
穷凶极恶
穷凶极恶

引用来自“徐清凯”的评论

把你请求的参数拼接出来,人工访问下,,看看什么
地址有的,用浏览器直接打开是没问题的
返回顶部
顶部