先把要抓取的网络地址列在单独的list文件中
http://www.jb51.net/article/83440.html http://www.jb51.net/article/83437.html http://www.jb51.net/article/83430.html http://www.jb51.net/article/83449.html
然后我们来看程序操作，代码如下：
#!/usr/bin/python import os import sys import urllib2 import re def Cdown_data(fileurl, fpath, dpath): if not os.path.exists(dpath): os.makedirs(dpath) try: getfile = urllib2.urlopen(fileurl) data = getfile.read() f = open(fpath, 'w') f.write(data) f.close() except: print with open('u1.list') as lines: for line in lines: URI = line.strip() if '?' and '%' in URI: continue elif URI.count('/') == 2: continue elif URI.count('/') > 2: #print URI,URI.count('/') try: dirpath = URI.rpartition('/')[0].split('//')[1] #filepath = URI.split('//')[1].split('/')[1] filepath = URI.split('//')[1] if filepath: print URI,filepath,dirpath Cdown_data(URI, filepath, dirpath) except: print URI,'error'
【Python使用urllib2模块抓取HTML页面资源的实例分享】相关文章：
★ python中使用smtplib和email模块发送邮件实例
★ python中使用urllib2获取http请求状态码的代码例子
★ Python中使用urllib2防止302跳转的代码例子
★ python采用requests库模拟登录和抓取数据的简单示例
★ python中使用sys模板和logging模块获取行号和函数名的方法
★ python使用urllib模块开发的多线程豆瓣小站mp3下载器