手机
当前位置:查字典教程网 >脚本专栏 >python >Python实现HTTP协议下的文件下载方法总结
Python实现HTTP协议下的文件下载方法总结
摘要:本文介绍了几种常用的python下载文件的方法,具体使用到了htttplib2,urllib等包,希望对大家有帮忙。1.简单文件下载使用ht...

本文介绍了几种常用的python下载文件的方法,具体使用到了htttplib2,urllib等包,希望对大家有帮忙。

1.简单文件下载

使用htttplib2,具体代码如下:

h = httplib2.Http() url = 'http://www.jb51.net/ip.zip' resp, content = h.request(url) if resp['status'] == '200': with open(filename, 'wb') as f: f.write(content)

使用urllib,具体代码如下:

filename = urllib.unquote(url).decode('utf8').split('/')[-1] urllib.urlretrieve(url, filename)

2.较大文件下载

def down_file(): url = "http://www.jb51.net/download.abc" file_name = url.split('/')[-1] u = urllib2.urlopen(url) f = open(file_name, 'wb') meta = u.info() file_size = int(meta.getheaders("Content-Length")[0]) file_size_dl = 0 block_sz = 8192 while True: buffer = u.read(block_sz) if not buffer: break file_size_dl += len(buffer) f.write(buffer) f.close()

在获取下载文件名的过程中,可以解析url,代码如下:

scheme, netloc, path, query, fragment = urlparse.urlsplit(url) filename = os.path.basename(path) if not filename: filename = 'downloaded.file'

3.端点续传下载

在使用HTTP协议进行下载的时候只需要在头上设置一下Range的范围就可以进行断点续传下载,当然,首先服务器需要支持断点续传。

利用Python的urllib2模块完成断点续传下载的例子:

#!/usr/bin/python # -*- coding: UTF-8 -* ''' Created on 2013-04-15 Created by RobinTang A demo for Resuming Transfer ''' import urllib2 req = urllib2.Request('http://www.python.org/') req.add_header('Range', 'bytes=0-20') # set the range, from 0byte to 19byte, 20bytes len res = urllib2.urlopen(req) data = res.read() print data print '---------' print 'len:%d'%len(data)

【Python实现HTTP协议下的文件下载方法总结】相关文章:

Python实现的Kmeans++算法实例

Python生成随机数的方法

python实现网页链接提取的方法分享

如何运行Python程序的方法

python实现的各种排序算法代码

Python批量修改文件后缀的方法

Python学习笔记_数据排序方法

Python通过解析网页实现看报程序的方法

python 文件与目录操作

python实现定制交互式命令行的方法

精品推荐
分类导航