合 日志分隔工具之Logrotate
nginx默认没有提供对日志文件的分割功能，所以随着时间的增长，access.log和error.log文件会越来越大，尤其是access.log，其日志记录量比较大，更容易增长文件大小，影响日志写入性能
分割nginx日志的方法有很多，这里推荐利用Logrotate来完成
安装
logrotate是一个linux系统日志的管理工具。可以对单个日志文件或者某个目录下的文件按时间/大小进行切割，压缩操作；指定日志保存数量；还可以在切割之后运行自定义命令
logrotate是基于crontab运行的，所以这个时间点是由crontab控制的，具体可以查询crontab的配置文件/etc/anacrontab。系统会按照计划的频率运行logrotate，通常是每天。在大多数的Linux发行版本上，计划每天运行的脚本位于/etc/cron.daily/logrotate
主流Linux发行版上都默认安装有logrotate包，如果你的linux系统中找不到logrotate, 可以使用apt-get或yum命令来安装
1 | yum install -y logrotate |
一般linux都已经自带logrotate，下列命令可以查看是否已安装
1 | rpm -ql logrotate |
2.1 入门
/etc/logrotate.conf这个文件是logrotate的主配置文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | # see "man logrotate" for details # rotate log files weekly weekly # keep 4 weeks worth of backlogs rotate 4 # create new (empty) log files after rotating old ones create # use date as a suffix of the rotated file dateext # uncomment this if you want your log files compressed #compress # 包含自定义配置目录 include /etc/logrotate.d # no packages own wtmp and btmp -- we'll rotate them here /var/log/wtmp { monthly create 0664 root utmp minsize 1M rotate 1 } /var/log/btmp { missingok monthly create 0600 root utmp rotate 1 } # system-specific logs may be also be configured here. |
这个主配置文件中定义了日志文件分割的通用参数。并且include /etc/logrotate.d表示其会加载/etc/logrotate.d的所有自定义配置文件，自定义配置文件中的配置可以覆盖掉通用配置
我们来到自定义配置文件的目录/etc/logrotate.d
尝试在该目录中创建一个日志分割配置test，对/opt/logtest目录中所有以.log结尾的文件进行分割
1 2 3 4 5 6 7 8 9 | vim test # test配置文件的内容 /opt/logtest/*.log { daily rotate 2 copytruncate missingok } |
test配置的第一行指定要对哪个路径的哪些文件进行分割，然后携带的4个参数解释如下：
- daily：按天切割。触发切割时如果时间不到一天不会执行切割。除了daily，还可以选monthly，weekly，yearly
- rotate：对于同一个日志文件切割后最多保留的文件个数
- copytruncate：将源日志文件切割成新文件后，清空并保留源日志文件。默认如果不启用该配-置，分割后源日志文件将被删除。设置该值，以便分割后可以继续在源日志文件写入日志，等待下次分割
- missingok：切割中遇到日志错误忽略
创建好配置以后，系统会在每天利用cron定时执行logrotate日志分割指令。这里我们为了看到效果，不等到系统自动执行，可以手动强制执行一次日志分割。强制执行会立即进行一次日志
1 2 3 | # -v:显示执行日志 # -f:强制执行分割 logrotate -vf /etc/logrotate.d/test |
执行前，事先在日志所在目录中创建2个测试日志文件
1 2 | touch test1.log touch test2.log |
手动执行一次日志分割，观察执行日志可以发现，过程如下：
- 先将源日志内容拷贝到分割后的文件
- 清空源文件
此时分割后的文件名为源文件名后面加上.序号，序号从1开始
然后我们再次手动执行一次分割，此时执行过程如下：
- 将第一次分割后的日志文件test1.log.1重命名为test1.log.2
- 将源日志文件拷贝到此次分割后的文件，命名序号重新从1开始，为test1.log.1
- 清空源日志文件
接着再次手动执行一次分割，此时执行过程如下：
- 将之前分割后的日志文件test1.log.2重命名为test1.log.3，test1.log.1重命名为test1.log.2
- 分割源日志文件，拷贝其内容到test1.log.1
- 由于设置了rotate为2，即最多保留2个日志文件，所以此时要删除最早分割出的那个日志文件，即test1.log.3
总结一下logrotate日志分割的步骤：
- 默认分割后日志的命名为源日志名称+.序号(从1开始)。分割之前将所有之前分割出的日志文件重命名，序号往后移一位
- 执行分割，将源日志文件分割为源日志文件名.1。这样就保证了所有分割后的文件中，序号最小的是最新分割出的，序号最大的是最早分割出的
- 根据rotate设置，如果此次分割后文件数量大于rotate设置，那么删除序号最大的那个分割文件，也就是最旧的分割日志
实际开发中可以使用create代替copytruncate，它们的区别如下：
- copytruncate先将源文件内容拷贝到分割后文件，再清空源文件，拷贝和清空之间有时间差，可能会丢失部分日志。另外拷贝操作在源文件比较大时消耗性能
- create直接将源文件重命名为分割后文件，再创建一个与源文件名称相同的新文件，用于后续日志写入
1 2 3 4 5 6 | /opt/logtest/*.log { daily rotate 2 create # 创建与源文件名称相同的新文件，用于后续日志写入，新文件的归属用户、权限与源文件相同 missingok } |
但是要注意create即使创建新的文件后，如果没有主动通知应用程序，那么应用程序仍然会往旧的文件(即被重命名的那个分割后的文件)写入日志。所以此时在分割后要通知应用程序重新打开新的日志文件进行写入。以通知nginx为例，配置如下
1 2 3 4 5 6 7 8 9 10 11 | /var/log/nginx/*.log { daily rotate 30 create sharedscripts # 所有的文件切割之后只执行一次下面脚本，通知nginx重新打开新的日志文件进行后续写入 postrotate if [ -f /run/nginx.pid ]; then kill -USR1 `cat /run/nginx.pid` # 通过USER1信号通知nginx重新打开日志文件 fi endscript } |
- 综上，一般情况下如果应用程序提供了通知其打开新的日志文件的接口，那么推荐使用create续写日志；否则推荐使用copytruncate续写日志
注意：
