手机
当前位置:查字典教程网 >脚本专栏 >python >python实现apahce网站日志分析示例
python实现apahce网站日志分析示例
摘要:维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的:应用到:shell与python数据交互、数据抓取,编码转换复...

维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的:

应用到:shell与python数据交互、数据抓取,编码转换

复制代码 代码如下:

#coding:utf-8

#!/usr/bin/python

'''

程序说明:apache access.log日志分析

分析访问网站IP 来源情况

日期:2014-01-06 17:01

author:gyh9711

程序说明:应用到:shell与python数据交互、数据抓取,编码转换

'''

import os

import json

import httplib

import codecs

LogFile='/var/log/apache2/access.log'

#日志

logMess='/tmp/acc.log'

if os.path.isfile(logMess):

os.system('cp /dev/null %s'% logMess)

file=codecs.open(logMess,'w+',encoding='utf-8')

def cmd(cmd):

return os.popen(cmd).readlines()

'''

def getIp(ip):

return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']

'''

conn = httplib.HTTPConnection('ip.taobao.com')

def getIpCountry(ip):

conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)

r1=conn.getresponse()

if r1.status == 200:

return json.loads(r1.read())['data']

else:

return "Error"

#将access.log文件进行分析,并转为python数组

file.write(u"字段说明:ip 访问次数据 ip国家 城市的 isp号 省份 所在地区n")

ipDb=[]

for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):

ip = i.strip().split(' ')

ipDb.append(ip)

#通过taobao 提供接口分析ip地址来源

for i in ipDb:

_tmpD=getIpCountry(i[1])

#格式说明:ip 访问次数据 ip国家 城市的 isp号 省份 所在地区

out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))

print out

file.write("%sn"%out)

conn.close()

file.close()

'''

'''

【python实现apahce网站日志分析示例】相关文章:

python网络爬虫采集联想词示例

python实现bitmap数据结构详解

python实现ip查询示例

python求素数示例分享

python 算法 排序实现快速排序

python处理中文编码和判断编码示例

python二叉树的实现实例

python使用rabbitmq实现网络爬虫示例

python实现猜数字游戏(无重复数字)示例分享

python多线程编程方式分析示例详解

精品推荐
分类导航