请问如何获取网页的修改时间?

hjl1115 发布于 2014/01/17 22:58
阅读 1K+
收藏 0

请问如何获取网页的修改时间?为了避免重复抓取,我想用url和网页的最后修改时间来判断是否抓取过,抓取过的是否修改过。不知道怎么获取网页的修改时间。或者大家有什么建议,实现去重复和修改更新?

加载中
0
Shazi199
Shazi199
楼主对动态网页怎么处理,算重复还是不重复。。
h
hjl1115
这个还没考虑到。请问有什么好的建议吗?
0
陨落人间
陨落人间

php的话可以用get_headers,得到Last-Modified

<?php
$url = 'http://baidu.com';
var_dump(get_headers($url,0));

h
hjl1115
谢谢。我试一下。另外对于避免重复抓取的问题有什么建议吗?
返回顶部
顶部