一个简单的需求，即定时启动python脚本，这种需求很常见，比如定时启动一段程序对服务器状态进行收集，写到文件中，方便运维后期审计，查看服务器占用高峰时间段，从而判断出公司产品在该时间段较多人使用，或定时清除其他程序的日志，释放线上服务器的空间，这块常见的架构是有个转存程序，将日志通过nginx文件服务挂起，然后该程序请求这种文件，将其存储在数据服务器中，而线上服务器的日志就不需要了(游戏日志通常比较大，所以转存程序也需要设计一下)。
本章主要来实现一下定时启动python的需求，当然，定时启动其他任何程序也都一样。
Python threading模块
一开始，为了省事，直接使用python的threading模块，threading模块下有个Timer模块，它可以实现定时启动python程序的需求，用法如下：
from threading import Timer
def timedTask():
print(datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
main() #主题程序逻辑
global timer
timer = Timer(300,timedTask)
timer.start()
if __name__ == '__main__':
timedTask()
值得一提的是，timer需要使用global timer，据说尝试运行时，会释放无需使用的占用资源。
实现方法很简单，即创建Timer()实例，传入两个参数，分别是时间间隔(单位为秒)与定时任务本身，构成一个死递归(因为没有逃出条件)，然后就是调用Timer实例的start()方法。
不推荐，虽然网上博客说使用global timer会释放无用资源，但实际没有考证，这种写法在服务器上跑起来的程序通常一天就断，我周日启动该程序，周一来公司看，对应的python程序挂了。
APScheduler
APScheduler是Python用于执行定时操作的第三方框架，作为一个框架，它就有它对应的各种概念，没必要搞那么复杂，学习成本有点高，放弃
Linux crontab
最总还是转到了Linux的crontab服务，该服务主要就是用于实现定时任务的，其语法如下：
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR
#sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * command to be executed
minute：代表一小时内的第几分，范围 0-59。
hour：代表一天中的第几小时，范围 0-23。
mday：代表一个月中的第几天，范围 1-31。
month：代表一年中第几个月，范围 1-12。
wday：代表星期几，范围 0-7 (0及7都是星期天)。
who：要使用什么身份执行该指令，当您使用 crontab -e 时，不必加此字段。
command：所要执行的指令。
crontab服务状态
sudo service crond start #启动服务
sudo service crond stop #关闭服务
sudo service crond restart #重启服务
sudo service crond reload #重新载入配置
sudo service crond status #查看服务状态
查看定时任务
crontab -l
到这里，关于crontab常见的文件就是叫你使用 crontab-e来编写对应crontab配置文件，配置内容的语法如上，例子如下：
# 每天早上6点
0 6 * * * echo "Good morning." >> /tmp/test.txt //注意单纯echo，从屏幕上看不到任何输出，因为cron把任何输出都email到root的信箱了。
# 每两个小时
0 */2 * * * echo "Have a break now." >> /tmp/test.txt
# 晚上11点到早上8点之间每两个小时和早上八点
0 23-7/2，8 * * * echo "Have a good dream" >> /tmp/test.txt
但这边不会这样操作，这种写法并不适合于真正的工作中，就是一个Toy，我希望的是全自动化，这里通过shell脚本来实现自动添加crontab任务。
shell脚本代码如下：
#! /bin/bash
cd LogSys/
work_path=/x1_game/agent_flask/LogSys/
if [ ! -n "$1" ]; then
echo "Usages: sh startLog.sh [start|stop]"
exit 0
fi
if [ "$1" = start ] ;then
if [ ! -x logs ] ;then
mkdir logs
fi
if [ -f logs/logsys.ini ] ;then
echo "logsys task is in crontab, can not add the task to crontab agent!"
exit 0
else
echo $(date "+%Y_%m_%d") >> logs/logsys.ini
chmod 777 start.sh
echo "* * * * * ${work_path}start.sh start >> ${work_path}logs/cron.log 2>&1" >> /var/spool/cron/root
echo "add LogSys task to crontab"
fi
elif [ "$1" = stop ] ;then
if [ -f logs/logsys.ini ] ;then
rm -rf logs/logsys.ini
rm -rf /var/spool/cron/root
echo "Stop success and remove the logsys.ini"
else
echo "logsys is not running"
fi
fi
这是我使用的完整shell脚本，这里自动添加crontab任务的命令只有一行，就是 echo"* * * * * ${work_path}start.sh start >> ${work_path}logs/cron.log 2>&1">>/var/spool/cron/root，这个命令会每分钟都会调用start.sh脚本，而start.sh脚本中启动了python，几个坑需要注意，crontab中请使用绝对路径，因为crontab启动程序时，相对路径所对应的坐标系其实与你手动启动该脚本时是不同的，使用绝对路径省事，这里还将star.sh脚本的输出内容都重定向到对应的日志文件中。
为什么不直接通过crontab启动python程序呢？而是要再绕一层，通过shell脚本来启动，这其实也是一个坑，除非你是单python文件，不然通常都使用shell脚本的形式启动python，而不在直接使用crontab来启动，这同样是因为crontab启动的任务相对路径的坐标系改变了，多文件的python项目相互引入文件时，使用的坐标系与crontab启动时不同，导致crontab直接启动python项目会失败，所以技巧就在于，通过shell脚本来启动python程序，在启动前，通过cd命令进入python项目对应的目录，这样就将启动时的相对路径的坐标系改成与python的一致了
具体可以看一下我的start.sh脚本，代码如下：
#! /bin/bash
currTime=$(date "+%Y_%m_%d")
logfile=${currTime}_logsys.log
if [ ! -n "$1" ]; then
echo "Usages: sh start.sh [start|stop]"
exit 0
fi
if [ ! -x logs ] ;then
mkdir logs
fi
pid=`ps -ef | grep log2mysql | grep -v grep|awk '{print $2}'`
if [ "$1" = start ] ;then
if [ -n "$pid" ] ;then
echo "log2mysql is running, can not start"
exit 0
fi
cd /x1_game/agent_flask/LogSys/
nohup /usr/local/bin/python -u log2mysql.py >> logs/$logfile 2>&1 &
pid=`ps -ef | grep log2mysql | grep -v grep|awk '{print $2}'`
echo "start log2mysql, pid is:"$pid
elif [ "$1" = stop ] ;then
if [ -n "$pid" ] ;then
echo "kill log2mysql, pid is: "$pid
kill -9 $pid
else
echo "log2mysql is not running "$pid
fi
fi
通过python启动任务的关键命令在于
cd /x1_game/agent_flask/LogSys/
nohup /usr/local/bin/python -u log2mysql.py >> logs/$logfile 2>&1 &
首先会进入要启动python项目的所在目录，然后再通过python启动对应的py文件，这里使用python解释器同样要使用全路径，因为线上系统中存在多个python，因为该python程序是耗时程序，所以我希望它在后台运行，所以使用了 nohup与 &关键字，将其放在后台去运行。
题外话：centos系统中的yum是依赖python的，具体到centos6，其yum依赖系统本身就存在的python2.6，但开发环境通常要使用python2.7，此时最好不要删除系统中自带的python2.6，如果你直接删除，会导致yum使用不了，此时就需要修改一下yum对应文件中的python指向，最好的方法就是直接安装python2.7，然后在/usr/bin下创建对应的软连接来使用。
小结
python程序员在工作中其实不能只会python，因为python虽然强大，但也会有其缺陷，所以什么好用，用什么才是对的，还有python是一种语言，不要被语言局限。
网友评论