python爬取图片已存在图片跳过处理问题

阪本先生 发布于 2020/04/01 13:49
阅读 462
收藏 0

下载了对应图片创建了同名的文件夹,但是重新运行代码的话 已经建立过的文件夹已存在就不再执行了。怎么解决。

比如爬取了  名为 ‘a’ 系列图片  创建了  D:/PIC/'a' 这个文件夹 ,保存过了 a1.jpg,a2.jpg。但是突然中断了,还有剩下十几张没爬取,我再次运行代码的时候,提示已存在'a' 这个文件夹  然后就停止了。我想让代码遍历文件夹判断有没有这个文件,有则跳过,没有则保存。

 

加载中
0
secert
secert
import os
if os.path.exists(filepath):
    print("文件已存在")
    return

 

 

0
X学无止境X
X学无止境X

那就做一个完全执行完的标识(标识文件也行),没有标识文件的依然直接再拉取,完全拉取完写入标识

0
当朝宰相
当朝宰相

计算文件的hash 然后比较呢

0
独孤晓林

用下载连接做hash快!

OSCHINA
登录后可查看更多优质内容
返回顶部
顶部
返回顶部
顶部