批量下载RFC文档(python实现)

长平狐 发布于 2012/06/08 12:34
阅读 153
收藏 0

RFC文档有很多,有时候在没有联网的情况下也想翻阅,只能下载一份留存本地了。
看了看地址列表,大概是这个范围:
http://www.networksorcery.com/enp/rfc/rfc1000.txt
...
http://www.networksorcery.com/enp/rfc/rfc6409.txt

哈哈,很适合批量下载,第一个想到的就是迅雷……
可用的时候发现它只支持三位数的扩展(用的是迅雷7),我想要下的刚好是四位数……
郁闷之下萌生自己做一个的想法!
这东西很适合用python做,原理很简单,代码也很少,先读为快。
代码如下:

1 # ! /usr/bin/python
2 '''
3 File : getRFC.py
4 Author : Mike
5 E-Mail : Mike_Zhang@live.com
6 '''
7 import urllib,os,shutil,time
8
9 def downloadHtmlPage(url,tmpf = ''):
10 i = url.rfind( ' / ')
11 fileName = url[i+1:]
12 if tmpf : fileName = tmpf
13 print url, " -> ",fileName
14 urllib.urlretrieve(url,fileName)
15 print ' Downloaded ',fileName
16 time.sleep(0.2)
17 return fileName
18
19 # http://www.networksorcery.com/enp/rfc/rfc1000.txt
20 # http://www.networksorcery.com/enp/rfc/rfc6409.txt
21 if __name__ == ' __main__ ':
22 addr = ' http://www.networksorcery.com/enp/rfc '
23 dirPath = " RFC "
24 # startIndex = 1000
25 startIndex = int(raw_input( ' start : '))
26 # endIndex = 6409
27 endIndex = int(raw_input( ' end : '))
28 if startIndex > endIndex :
29 print ' Input error! '
30 if False == os.path.exists(dirPath):
31 os.makedirs(dirPath)
32 fileDownloadList = []
33 logFile = open( " log.txt ", " w ")
34 for i in range(startIndex,endIndex+1):
35 try:
36 t_url = ' %s/rfc%d.txt ' % (addr,i)
37 fileName = downloadHtmlPage(t_url)
38 oldName = ' ./ '+fileName
39 newName = ' ./ '+dirPath+ ' / '+fileName
40 if True == os.path.exists(oldName):
41 shutil.move(oldName,newName)
42 print ' Moved ',oldName, ' to ',newName
43 except:
44 msgLog = ' get %s failed! ' % (i)
45 print msgLog
46 logFile.write(msgLog+ ' \n ')
47 continue
48 logFile.close()

除了RFC文档,这个程序稍加修改也可以做其它事情:比如批量下载MP3、电子书等等。

好,就这些了,希望对你有帮助。


原文链接:http://www.cnblogs.com/MikeZhang/archive/2012/01/20/getRFCFiles.html
加载中
返回顶部
顶部