原 配置crontab定时清理GreenPlum日志文件
Tags: 原创GreenPlum定时任务crontab定时清理日志文件
简介
greenplum集群master节点产生日志过大原因:greenplum数据库,由于所有的用户请求,都要经过master节点,并且默认情况下master节点会把CREATE,ALTER,DROP ,INSERT,UPDATE,DELETE,TRUNCATE和COPY FROM等操作详细日志信息记录在$MASTER_DATA_DIRECTORY/pg_log
目录下,并且日志级别也较低,对于greenplum并发量比较大的情况下,会产生非常大的日志信息,浪费系统资源。
一个脚本
1、在master节点编写日志清理脚本,保留近半个月的日志文件
1 2 3 4 5 6 7 8 9 10 11 | cat > /home/gpadmin/clear_gp_log.sh <<"EOF" find /home/gpadmin/gpdata/*/*/pg_log -mtime +20 -type f -name "gpdb-*.csv" -exec rm {} \; ssh sdw1 'find /home/gpadmin/gpdata/*/*/pg_log -mtime +15 -type f -name "gpdb-*.csv" -exec rm {} \;' ssh sdw2 'find /home/gpadmin/gpdata/*/*/pg_log -mtime +15 -type f -name "gpdb-*.csv" -exec rm {} \;' ssh sdw3 'find /home/gpadmin/gpdata/*/*/pg_log -mtime +15 -type f -name "gpdb-*.csv" -exec rm {} \;' EOF chmod +x /home/gpadmin/clear_gp_log.sh |
2、添加定时任务
1 2 3 | crontab -e 0 3 * * * /home/gpadmin/clear_gp_log.sh |
3、查看定时任务是否新增成功
1 | crontab -l |
每个节点单独清理(推荐)
若没有配置好root用户的互信,则需要在每个节点单独配置crontab删除脚本:
1 | 0 1 * * * find /data/newgpdata/gpmaster/gpseg-1/pg_log/ -name "gpdb*.csv" -ctime +7 -exec rm -rf {} \; |