`
LIMIMGJIE
  • 浏览: 171625 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

通过标准日志的状态,监控服务的整体稳定性,

阅读更多


通过标准日志的状态,监控服务的整体稳定性,
配置服务日志的标准格式:
nginx日志:
	log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
              '$status $body_bytes_sent "$http_referer" '
              '"$http_user_agent" $request_time';

记录的形式如下:
112.15.238.212 - - [25/Sep/2011:04:01:11 +0800] "GET /UserRecommend.php HTTP/1.1" 200 870 "http://moviebox.baofeng.net/newbox1.0/index.html" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30)" 320


日志格式说明:
$remote_addr 远程请求使用的IP地址
$remote_user 远端登录名
$time_local 时间,用普通日志时间格式(标准英语格式)
$request 请求的第一行
$status 状态。
$body_bytes_sent 请求返回的字节数,包括请求头的数据
$http_referer 请求头Referer的内容
$http_user_agent 请求头User-Agent的内容
$request_time 处理完请求所花时间,以秒为单位

apache日志:
	LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %T " combined
		CustomLog log/access_log combined


记录的形式如下:
127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"



日志格式说明:
%h 请求使用的IP地址
%l 远端登录名(由identd而来,如果支持的话),除非IdentityCheck设为"On",否则将得到一个"-"。
%u 远程用户名(根据验证信息而来;如果返回status(%s)为401,可能是假的)
%t 时间,用普通日志时间格式(标准英语格式)
%r 请求的第一行
%s 状态。对于内部重定向的请求,这个状态指的是原始请求的状态,---%>s则指的是最后请求的状态。
%b 以CLF格式显示的除HTTP头以外传送的字节数,也就是当没有字节传送时显示'-'而不是0。
\"%{Referer}i\" 发送到服务器的请求头Referer的内容。
\"%{User-Agent}i\" 发送到服务器的请求头User-Agent的内容。
%T 处理完请求所花时间,以秒为单位。
%I 接收的字节数,包括请求头的数据,并且不能为零。要使用这个指令你必须启用mod_logio模块。
%O 发送的字节数,包括请求头的数据,并且不能为零。要使用这个指令你必须启用mod_logio模块。

日志定时切割的脚本:
/sh/log_apache.sh
	       # apache log backup
		#!/bin/bash

		# 获取昨天的日期
		logfilename=`date -d yesterday +%Y_%m_%d`
		today=`date +%Y.%m.%d`
		# 设置日志文件原始路径  
		logfilepath=/opt/modules/apache2/logs/
		# 设置日志备份文件路径
		backupfilepath=/opt/data/logs/apache/

		echo "get access log:"
		# 打包压缩访问日志文件
		cd ${logfilepath}
		tar zcvf ${backupfilepath}access/${logfilename}.tar.gz access_${logfilename}.log
		rm -rf access_${logfilename}.log

		echo "get error log:"
		# 打包压缩错误日志文件
		cd ${logfilepath}
		tar zcvf ${backupfilepath}error/${logfilename}.tar.gz error_${logfilename}.log
		rm -rf error_${logfilename}.log

		echo "done @"${today}


nginx日志的切割脚本:
		#nginxlog日志备份
		#!/bin/sh

		# 设置日志文件备份文件名  
		#logfilename=`date +%Y%m%d`
		logfilename=`date +\%Y\%m\%d -d "1 days ago"`
		# 设置日志文件原始路径  
		logfilepath=/opt/modules/nginx/logs/
		# 设置日志备份文件路径
		backupfilepath=/opt/data/logs/nginx/

		LOG_FILE='access error log_mm log_db'
		for j in $LOG_FILE
		do
				cd ${logfilepath}
				tar zcvf ${backupfilepath}$j/${logfilename}.tar.gz $j.log
				rm -rf $j.log
		done

		kill -USR1 `cat  /opt/modules/nginx/nginx.pid


日志定时清理的脚本:
		#!/bin/sh
		####################### clear logs #########################

		### nginx ###
		#clear nginx access log(by hour .log) 2 days ago 
		/usr/bin/find /opt/data/logs/nginx/access -mtime +2 -name "access.log*" -exec rm -rf {} \;

		#clear nginx (access,error,log_mm,log_db) log(by day tar.gz) 10 days ago
		NGINX='access error log_mm log_db'
		for i in $NGINX
		do
				/usr/bin/find /opt/data/logs/nginx/$i -mtime +10 -name "*tar.gz" -exec rm -rf {} \;
		done

		### apache ### 
		#clear apache (access,error) log(by day tar.gz) 10 days ago
		APACHE='access error'
		for j in $APACHE
		do
				/usr/bin/find /opt/data/logs/apache/$j -mtime +10 -name "*tar.gz" -exec rm -rf {} \;
		done

		### other log ###
		#clear (txt/mq,txt/auto,txt/man) log(by day .log) 10 days ago
		OTHER='txt/mq txt/auto txt/man'
		for k in $OTHER
		do
				/usr/bin/find /opt/data/logs/$k -mtime +10 -name "*log" -exec rm -rf {} \;
		done


日志常规分析脚本
1)日志的响应时间(分析响应时间超过2S的记录数量)
			#!/bin/sh

			DIR="/opt/data/logs/nginx/access"
			TIME=`date -d "1 hour ago" +%Y%m%d-%H`

			FILE=""
			if [ -z $1 ];then
				FILE="${FILE} ${DIR}/access.log${TIME}"
			else
			   if [ $1 = 'h' ];then
				FILE="${FILE} ${DIR}/access.log${2}"
			   else
				  for((i=0;i<24;i++))
				  do
					h=`printf "%02d" $i`
					FILE="${FILE} ${DIR}/access.log${2}-$h"
				  done
			   fi
			fi

			for f in ${FILE}
			do
			echo -n ${f}:
			grep -v 'proxy'  ${f}| awk -F, 'BEGIN{f0=0;f1=0;f2=0}{ if($NF<1)f0++;if($NF>=1 && $NF<2)f1++;if($NF>=2 && $NF < 10000) f2++}END{print f0, f1, f2}'
			done
			

2)日志的请求状态(分析各请求状态的记录数量)
1
0
分享到:
评论
1 楼 imcaptor 2011-10-04  
nginx的request_time包括了客户端数据传输的时间,apache的%D有可能仅仅是服务器处理并写到buffer里面的时间

1.限制带宽前,访问服务器
[root@gitserver ~]# ab -n 100 -c 10 http://xxx.xxx.com/img/test.gif

nginx访问日志
61.51.136.71 - - [04/Oct/2011:01:57:16 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 0.116 "-" "ApacheBench/2.0.40-dev"
61.51.136.71 - - [04/Oct/2011:01:57:16 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 0.126 "-" "ApacheBench/2.0.40-dev"

[root@gitserver ~]# ab -n 100 -c 10 http://wap111.wanbo123.com/img/test.gif

apache访问日志(倒数4列是执行时间)
61.51.136.71 - - [04/Oct/2011:02:34:59 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 466 "-" "ApacheBench/2.0.40-dev" 0
61.51.136.71 - - [04/Oct/2011:02:34:59 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 420 "-" "ApacheBench/2.0.40-dev" 0
61.51.136.71 - - [04/Oct/2011:02:34:59 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 401 "-" "ApacheBench/2.0.40-dev" 0


2.限制带宽后(限制到1k):
/sbin/tc qdisc add dev eth0 root tbf rate 1kbit latency 50ms burst 1000

root@gitserver ~]# ab -n 100 -c 10 http://iletou.com/img/test.gif


nginx服务器日志:
61.51.136.71 - - [04/Oct/2011:01:58:26 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 5.000 "-" "ApacheBench/2.0.40-dev"
61.51.136.71 - - [04/Oct/2011:01:58:35 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 5.000 "-" "ApacheBench/2.0.40-dev"
61.51.136.71 - - [04/Oct/2011:01:58:38 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 5.000 "-" "ApacheBench/2.0.40-dev"

apache访问日志(倒数4列是执行时间),虽然出来很慢,但是时间没有变化
ab -n 100 -c 10 http://wap111.wanbo123.com/img/test.gif
61.51.136.71 - - [04/Oct/2011:02:37:17 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 538 "-" "ApacheBench/2.0.40-dev" 0
61.51.136.71 - - [04/Oct/2011:02:37:18 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 540 "-" "ApacheBench/2.0.40-dev" 0
61.51.136.71 - - [04/Oct/2011:02:37:20 +0800] "GET /img/test.gif HTTP/1.0" 200 9976 493 "-" "ApacheBench/2.0.40-dev" 0


解除限制:
/sbin/tc qdisc del dev eth0 root tbf

--
结论:

两者是不同的参数,nginx的request_time包括了客户端数据传输的时间,apache的%D有可能仅仅是服务器处理并写到buffer里面的时间。

前者可以评估用户的体验,后者仅仅检测服务器的性能。

相关推荐

    网络安全系统运维服务方案.doc

    1 网络安全系统运维服务方案 从网络的连通性、网络的性能、网络的监控管理三个方面实现对网络系统的运维管理 。网络、安全系统基本服务内容: "序号"服务模块 "内容描述 "提供方 " "1 "现场备件安装 "配合用户进行,...

    easy-monitor:企业级Node.js应用性能监控与在线故障定位解决方案

    推出Node.js的开源生态工具链上做一些微小的事情,希望能帮助到使用和正在使用Node.js的开发者更好地感知自己的Node.js应用状态,来面对性能和稳定性方面的挑战。 扫钉钉二维码代码可以进入本项目的开源官方讨论钉钉...

    RouterOS2.9.6.with.crack及配置动画

    产品集宽带路由 (Router)、专业级防火墙、QoS带宽流量管理、多线路负载均衡、VPN、上网行为管理等多项功能于一身,支持功能模块扩展,是一个安装简单、稳定性高、易维护、投资低的一体化智能路由产品。 编辑本段...

    Lerx 网站内容管理系统 v5.5.zip

    可以将自己发布的模板设定为收费状态,通过其它平台收费后向需求的用户发送一个一次性的密钥以便下载。 31.★用户上传下载模板均是一键操作,静默传输。无需通过浏览器选取模板、资源文件上传,无需通过浏览器的...

    迈思网站内容管理系统(MyStepCMS) 1.0.5.zip

    除文章插件外,如活动在线报名、搜索引擎监控、文章访问统计、MSSQL查询、网站数据统计及导出等功能,也都可以通过插件来实现。对于用户数据,系统更可以通过插件直接调用任意其他系统的用户数据,并与本系统权限...

    高级软件架构师复习提纲

    可以使状态在留转过程中被保存和传递//最好能够用一套处理机制,能够满足WinForm程序和Web应用的需要 //用户的在一个操作流程中可能会嵌套子流程,或者会转到别的流程 //记录流程的流转的日志 //流程的维护 42、...

    MyStepCMS 迈思网站内容管理系统 v1.0.5.zip

    除文章插件外,如活动在线报名、搜索引擎监控、文章访问统计、MSSQL查询、网站数据统计及导出等功能,也都可以通过插件来实现。对于用户数据,系统更可以通过插件直接调用任意其他系统的用户数据,并与本系统权限...

    fourinone-3.04.25

    选举出新的领导者进行服务,这个过程中,心跳节点仍然能保持健壮的稳定性,迅速跟新的领导者保持心跳连接。基于Fourinone可以轻松实现分布式配置信息,集群管理,故障节点检测,分布式锁,以及淘宝configserver等等...

    酒店管理软件|辰星酒店管理软件 星级版

    1、酒店整体浏览:监控前台业务,客房帐、应收帐、定金帐、科目余额、入住率、各收银点统计消费明细、统计报告每日客房利用情况 2、团体管理:建立团体信息、团体维护、团体登记、建立团体总帐单、团体分房、团体占...

    McAfee 8.0 简体中文

    码运行,也不要指望受到利用的应用程序仍然会保持稳定。 VirusScan Enterprise 为大约 30 种最常用且最容易受利用的软件应用程 序及微软 Windows 服务提供缓冲区溢出保护。这些受保护的应用程序在一 个...

Global site tag (gtag.js) - Google Analytics