Linux进程管理与计划任务

作者: 夹克K | 来源:发表于2017-09-10 23:49 被阅读0次

进程相关概念

内核的功能

进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等。

process

进程，正在运行中的程序的一个副本，是被加载到内存中的指令集和。

PID：进程ID，标记进程。
init: linux中有一个总进程init,这个是第一个进程，其他进程都由这个总进程创建。

进程优先级

系统优先级（0--139）：数字越小，优先级越高。
实时优先级（99--0）：值越大，优先级越高。静态优先级
nice（-20--19）：对应系统的100--139 。动态优先级
Big ：时间复杂度，用户和规模的关系。
LRU算法：淘汰不用时间最长的数据。

进程的执行需要环境，我们称之为上下文（context），也就是包含一些进程的属性（进程的执行者，PID，selinux机制，组身份）linux内核的进程工作方式是：抢占式多任务（也就是分时操作系统）。

进程类型

守护进程：daemon，在系统引导过程中启动的进程，和终端无关进程。系统启动后自动加载到内存中在后台运行，也就是后台进程。
前台进程：跟终端相关，通过终端启动的进程。关闭终端就会中断。

进程状态

 运行态 running
 就绪态 ready
 睡眠态：可中断 interruptable
        不可中断 UNinterruptable
 停止态：stopped 暂停于内存，但不会被调度，除非手动启动
 僵死态：zombie  结束进程，父进程结束前，子进程不关闭，这种进程已经处于死状态，没法再次杀死，只能进行重启系统才可以释放内存。

系统管理工具

进程的分类

CPU-bound ：CPU密集型，主要使用CPU进行计算或逻辑判断的进程
I/O-bound ：IO密集型，主要使用内存和硬盘进行读写的进程。

Linux系统状态的查看及管理工具

pstree  ps  pidof  pgrep  top  htop  glance pmap  vmstat  dstat  kill  pkill job  bg  fg  nohup

pstree

将进程以树状结构显示，子进程为叶子节点，其中用{ } 括起来的是线程。线程依附于进程，不能独立存在，进程是独立内存空间的，线程是可以共享内存空间的，线程属于轻量级的。

pstree.png

知识小扩展: 可以将httpd服务的进程改为线程，一般httpd服务是新建一个进程为用户提供服务，我们可以将其使用线程来为用户提供服务，这样就可以节省内存资源。可以修改如下文件：vim /etc/sysconfig/httpd
将配置文件中的#HTTPD=/usr/sbin/httpd.worker 前的#去掉，使该配置生效，重启服务就可以了：service httpd restart

ps

报告当前进程的快照（所谓的快照也就是当前瞬间的状态）

Linux中各个进程的相关信息都保存在/proc/目录下，对应各个进程PID的文件夹，里面有进程的所有详细信息。

支持三种选项：
- UNIX选项如-A -e 加-的选项风格
- BSD选项如a 不加-的选项风格
- GNU选项如--help --这种长格式风格

    ps使用不同风格的选项显示结果是不同的，拿ps -a 这个例子来说，
     * ps a  BSD风格，显示比较详细
     * ps -a UNIX风格，显示不详细。这个是一个小小的区别。

选项：默认显示当前终端中的进程

• a 选项包括所有终端中的进程
• x 选项包括不链接终端的进程，也就是包括后台（守护）进程
• u 选项显示进程所有者的信息
• f 选项显示进程的父进程，同时显示父进程的PPID
• k|--sort 属性对属性排序
• o 属性… 选项显示定制的信息，后可接以下的参数，指定显示特定的信息，该选项必须放在所有选项的最后，紧跟参数。
pid、comm、%cpu、%mem、state、VSZ、RSZ、tty、euser、ruser

对于带有suid权限的二进制命令来说，该二进制文件属于A，当另一个B用户执行该二进制文件的时候，这个命令的生效者是A，而命令的发起者是B

参数的解释：
- VSZ: Virtual memory SiZe，虚拟内存集，线性内存
- RSS: ReSident Size, 常驻内存集
- ni: nice值
- pri: priority 优先级
- psr: processor CPU编号
- rtprio: 实时优先级
- STAT：进程状态
  - R：running
  - S: interruptable sleeping
  - D: uninterruptable sleeping
  - T: stopped
  - Z: zombie
  - +: 前台进程
  - l: 多线程进程
  - L：内存分页并带锁
  - N：低优先级进程
  - <: 高优先级进程
  - s: session leader，会话（子进程）发起者
常用组合

aux
auo
-ef

ps -C commod 可显示某一命令的进程信息，-C 就是指command
进程优先级
- 进程优先级调整：
  - 静态优先级：100---139
    进程默认启动时的nice 值是0，优先级为120
    只有root用户才能降低nice值（提高优先级）

nice 命令

nice -n -10 命令：指定命令执行的优先级

renice 命令：

renice 10 pid 调整正在运行的进程的优先级，重新设置进程优先级（-20----19）

查看进程优先级

ps axo pid,commod,nice 其中axo中的o必须放后面

pgrep

pgrep 工具：专门支持进程搜索
pgrep [option]

-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程，指定终端。
-l: 显示进程名
-a: 显示完整格式的进程名
-P pid: 显示指定进程的子进程
pgrep命令支持正则表达式：
pgrep -a "^vi.*"

pidof###

显示服务或命令的进程pid，可以用来监控服务

pidof bash 显示命令的进程号
　　如果某个服务没有启动，这时候查找不到进程号，这个时候的echo $?查看到的返回值为1 ，可以用这个原理进行监控功能服务是否正常，如果服务关闭了，可以重新启动。
　　　　pidof httpd > /dev/null || systemctl restart httpd.service

tu!!!!!!!

uptime

显示系统的负载均衡

显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分钟的平均负载，一般不会超过1）（如果超过了1，说明每一分钟就会有一个进程在等待，完成不了。）

系统平均负载:
指在特定时间间隔内运行队列中的平均进程数
通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每个CPU内核的任务数大于5，那么此主机的性能有严重问题
如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被充分使用

tu!!!!!!!!

top

进程监视工具

 (空间概念：用户空间（应用程序不需要使用内核，该程序的进程就在用户空间中进行）内核空间（应用程序的进程需要加载内核进行，内核所使用的空间就是内核空间)

排序

P：以占据的CPU百分比,%CPU
M：占据内存百分比,%MEM
T：累积占据CPU时长,TIME+
首部信息显示
uptime信息： l命令
tasks及cpu信息： t命令
cpu分别显示： 1 (数字)
memory信息： m命令
退出命令： q
修改刷新时间间隔： s
终止指定进程： k
保存文件： W（大写）

栏位信息简介

us：用户空间
sy：内核空间
ni：调整nice时间
id：空闲
wa：等待IO时间
hi：硬中断
si：软中断（模式切换）
st：虚拟机偷走的时间

进入top之前可以指定选项：
- 选项：
  -d #: 指定刷新时间间隔，默认为3秒
  -b: 全部显示所有进程
  -n #: 刷新多少次后退出
进入top后有如下快捷键：
按 t 可以打开和关闭'tasks行' 和'%CPU行'（centos6）（centos7中会有些不一样）
按 1 可以显示所有CPU内核的利用率
按 m 可以打开和关闭'Mem行'和'Swap行'
按 s 可以输入数字，修改刷新时间间隔
按l 可以打开和关闭首部的top行信息
按k 可以输入进程的PID杀死进程

htop

 **需从Fedora-EPEL源安装**
    选项：
        -d #: 指定延迟时间；
        -u UserName: 仅显示指定用户的进程
        -s COLUME: 以指定字段进行排序
    子命令：
        s: 跟踪选定进程的系统调用
        l: 显示选定进程打开的文件列表
        a：将选定的进程绑定至某指定CPU核心
        t: 显示进程树

内存工具

vmstat

虚拟内存信息
-s: 显示内存的统计数据

vmstat 2   加一个数字是指定每隔几秒刷新一次，
vmstat 2 5 加两个数字，前一个数字是表示每隔多少秒刷新一次，后一个数字是指刷新多少次退出。

vmstat 命令结果中的菜单项
- procs:
  r：可运行（正运行或等待运行）进程的个数，和核心数有关
  b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
- memory：
  **swpd: **交换内存的使用总量
  free：空闲物理内存总量
  buffer：用于buffer的内存总量
  cache：用于cache的内存总量
- swap:
  si：从磁盘交换进内存的数据速率(kb/s)
  so：从内存交换至磁盘的数据速率(kb/s)
  io：
  bi：从块设备读入数据到系统的速率(kb/s)
  **bo: **保存数据至块设备的速率
- system：
  in: interrupts 中断速率，包括时钟
  cs: context switch 进程切换速率
- cpu：
  us:Time spent running non-kernel code （用户空间利用率）
  sy:Time spent running kernel code （系统内核空间利用率）
  id:Time spent idle. Linux 2.5.41前,包括IO-wait time.（CPU空闲百分比）
  wa: Time spent waiting for IO. 2.5.41前，包括in idle. （CPU等待IO时间）
  st: Time stolen from a virtual machine. 2.6.11前, unknown.（被偷走的内存空间）

iostat

统计CPU和设备IO信息

示例
iostat 1 10
iostat 2 加一个数字是指定每隔几秒刷新一次，

iostat 2 5 加两个数字，前一个数字是表示每隔多少秒刷新一次，后一个数字是指刷新多少次退出。

pmap

进程对应的内存映射,进程的运行占用内存的地址对应关系

pmap [options] pid [...]
-x | -d : 显示详细格式的信息
- 示例：pmap 1
  另外一种实现：
  cat /proc/PID/maps

系统监控工具

glances

glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-Ppassword] [--password] [-t refresh] [-f file] [-o output]
内建命令：
        a Sort processes automatically 
        l Show/hide logs
        c Sort processes by CPU% 
        b Bytes or bits for network I/O
        m Sort processes by MEM% 
        w Delete warning logs
        p Sort processes by name 
        x Delete warning and critical logs
        i Sort processes by I/O rate 
        1 Global CPU or per-CPU stats
        d Show/hide disk I/O stats 
        h Show/hide this help screen
        f Show/hide file system stats 
        t View network I/O as combination
        n Show/hide network stats 
        u View cumulative network I/O
        s Show/hide sensors stats 
        q Quit (Esc and Ctrl-C also work)
        y Show/hide hddtemp stats
    常用选项：
        -b: 以Byte为单位显示网卡数据速率
        -d: 关闭磁盘I/O模块
        -f /path/to/somefile: 设定输入文件位置
        -o {HTML|CSV}：输出格式
        -m: 禁用mount模块
        -n: 禁用网络模块
        -t #: 延迟时间间隔
        -1：每个CPU的相关数据单独显示

C/S模式下运行glances命令
- 服务器模式：
  
  glances -s -B IPADDR
  IPADDR: 指明监听的本机哪个地址
  也可以不指定-B IPADDR，这样默认监听本机上所有的端口，客户端可以通过任意一个本机的IP地址进行监控。一旦-B IPADDR之后，就将glances服务器端绑定到了固定的Ip上，客户端只有通过绑定的IP地址才可以进行监控。
- 客户端模式：
  
  glances -c IPADDR
  IPADDR：要连入的服务器端地址

dstat

系统资源统计,代替vmstat,iostat

dstat [-afv] [options..] [delay [count]]
-c: 显示cpu相关信息
-C #,#,...,total
-d: 显示disk相关信息
-D total,sda,sdb,...
-g：显示page相关统计数据
-m: 显示memory相关统计数据
-n: 显示network相关统计数据
-p: 显示process相关统计数据
-r: 显示io请求相关的统计数据
-s: 显示swapped相关的统计数据

kill

向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写，kill命令默认发送15代码信号。
显示当前系统可用信号： kill –l,trap -l
常用信号：man 7 signal

kill命令并不是只是用来杀死进程的，它是用来给进程发送信号的，所谓的杀死进程其实是，给进程发送信号，让进程自己自动终结。
    1) SIGHUP: 无须关闭进程而让其重读配置文件
    2) SIGINT: 中止正在运行的进程；相当于Ctrl+c
    3) SIGQUIT:相当于ctrl+\
    9) SIGKILL: 强制杀死正在运行的进程
    15) SIGTERM：终止正在运行的进程
    18) SIGCONT：继续运行
    19) SIGSTOP：后台休眠
    指定信号的方法：
    (1) 信号的数字标识：1, 2, 9
    (2) 信号完整名称：SIGHUP (3) 信号的简写名称：HUP

kill -0 pid 使用0信号，可以对进程进行错误检查。如果进程不正常，会返回错误信息，返回值为非0，如果进程正常返回正确的0值，这个可以用来检测进程是否正常。

 对于有些进程是不能杀死的，例如tty2、tty3、tty4、tty5、tty6这些控制台进程是杀不死的。
      kill (tty)pid （默认发送15代码信号）杀不死
      kill -9 （tty)pid  杀不死

可以有杀死的办法：

先将所有进程的父进程pid=1 init这个进程杀死。虽然杀不死，但是会对init这个进程造成一定得伤害，使init进程自身的一些功能受到一些破坏，造成进程的不完整性。
这个时候再次进行kill -9 tty(pid) 就会把控制台终端进程杀死。

Killall、pkill

killall Pname :指定进程名，可以批量杀死进程，不需要一个个指定进程编号那么麻烦。

pkill [options] pattern
- option
  
  -SIGNAL
  -u uid: effective user，生效者
  -U uid: real user，真正发起运行命令者
  -t terminal: 与指定终端相关的进程
  -l: 显示进程名（pgrep可用）
  -a: 显示完整格式的进程名（pgrep可用）
  -P pid: 显示指定进程的子进程
  可加选项指定特定进程特定的条件将进程杀死。

作业管理

Linux的作业控制

前台作业：通过终端启动，且启动后一直占据终端；
后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）

作业在后台有两种状态：后台运行、后台休眠

(1) 运行中的作业： Ctrl+z 将作业放入后台休眠
(2) 尚未启动的作业：# COMMAND & 命令后加上& 符号

  后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系

nohup COMMAND &
例如：nohup ping 127.0.1 & 关闭终端后，作业仍然在后台进行作业不会中断。
screen;COMMAND
这个是新开一个screen，将作业放进去执行。

查看当前终端所有作业
# jobs 显示后台作业的编号
作业控制
# fg [作业的编号]：把指定的后台作业调回前台
# bg [作业的编号]：让送往后台的作业在后台继续运行
# kill [%作业的编号]：终止指定的作业（作业编号前要加%）

作业并行运行
同时运行多个进程，提高效率，这个思想也可以作用与命令，可以让不同的命令并行执行。

方法1
vi all.sh 编写一个脚本，在脚本中添加不同的脚本或命令，在每一个脚本或命令后加上一个&符号
f1.sh&
f2.sh&
f3.sh&
方法2
(f1.sh&);(f2.sh&);(f3.sh&) 可以作用与脚本或命令
方法3
{ f1.sh& f2.sh& f3.sh& } 可以作用与脚本或命令

任务计划

执行一次：at 在指定的时间点执行一次指定的命令
空闲时执行：batch 系统自动选择空闲的时间去执行指定的命令（也就是系统负载较低的情况下）
周期性执行：cron 根据指定的时间自动的周期性执行指定的动作。

at

(交互式任务计划，按Ctrl + D 完成指定任务退出交互)

    可以通过管道和重定向将计划任务输入at，例如：
        cat at.txt | at 14:00
        at 14:00 < at.txt

首先需要安装at包
安装完后需要启动该服务，在不同的操作系统下服务位置不同，例如：
    centos6中
        /etc/rc.d/init.d/atd  服务路径
        service atd start     启动服务
    centos7中
        /usr/lib/systemd/system/atd.service  服务路径
        systemctl start atd.service     启动服务
        chkconfig atd.service on     指定开机自启动

常用选项：
-V 显示版本信息:
-l 列出指定队列中等待运行的作业；相当于atq
-d:删除指定的作业；相当于atrm
-c 查看具体作业任务
-f /path/from/somefile：从指定的文件中读取任务
-m 当任务被完成之后，将给用户发送邮件，即使没有标准输出
注意：作业执行命令的结果中的标准输出和错误以邮件通知给相关用户

  **时间格式**：
        可以在具提的时间点后加上时间来指定执行的时间，例如：
         at now + 5 minutes
        时间点有：noon（12：00） midnight（24:00） teatime(16:00) tomorrow 
        now + {minutes,hours,days, OR weeks} 

        HH:MM 02:00
            在今日的 HH:MM 进行，若该时刻已过，则明天此时执行任务
        HH:MM YYYY-MM-DD 02:00 2016-09-20
            规定在某年某月的某一天的特殊时刻进行该项任务
        HH:MM[am|pm] [Month] [Date]
            04pm March 17
            17:20 tomorrow
        HH:MM[am|pm] + number [minutes|hours|days|weeks]
            在某个时间点再加几个时间后才进行该项任务
            now + 5 minutes
            02pm + 3 days

at 任务队列存放在：/var/spool/at/目录中
    并不是所有的用户都可以使用at命令：
    安装过at命令后会有两个文件：
        白名单：/etc/at.allow   默认不存在
        黑名单：/etc/at.deny    默认存在
    白名单和黑名单中放用户名，有如下几种情况：
        两个文件都不存在，只有root用户可以使用at计划任务
        如果不存在白明单，不在黑名单中的用户可以使用at命令。
        存在白名单，白名单的优先级高于黑名单，有白名单黑名单就不起作用，不在白名单中的用户不能使用at命令。

cron

周期性计划任务（计划任务中不要有标准输出，否则会以邮件方式发送个管理员）

 相关的程序包：
    cronie: 主程序包，提供crond守护进程及相关辅助工具
    cronie-anacron：cronie的补充程序，用于监控cronie任务执行状况，如cronie中的任务在过去该运行的时间点未能正常运行，则anacron会随后启动一次此任务
    crontabs：包含CentOS提供系统维护任务
    创建周期性任务的命令是主程序包提供的crontab命令：/usr/bin/crontab
    首先要保证crond.service 服务开启
        centos6 :service crond.service start
        centos7 :systemctl start crond.service
    周期性计划任务的日志在：/var/log/cron

创建周期性计划任务有两种方法：
- 一、通过编辑文件：/etc/crontab
  在该文件中编辑指定时间就可以了格式为：
  * * * * * user command
- 二、通过命令进行指定：
  crontab -e 该命令一执行就会自动进入编辑类似于/etc/crontab的文件，格式也是：
  * * * * * user command

时间表示法：

(1) 特定值
给定时间点有效取值范围内的值

(2) *
给定时间点上有效取值范围内的所有值
表示“每...”

(3) 离散取值
#,#,# 1,4,6

时间表示法

(4) 连续取值
#-# 6-19
(5) 在指定时间范围上，定义步长
/#: #即为步长例如：*/5（没五分钟执行一次）

在文件中也可以这样编辑：

例如
@reboot root echo nihao 每次重启之后以root身份执行命令。
@yearly root echo nihao 每年执行一次
@reboot Run once after reboot.

@yearly 0 0 1 1 *
+ @annually 0 0 1 1 *
+ @monthly 0 0 1 * *
+ @weekly 0 0 * * 0
+ @daily 0 0 * * *
+ @hourly 0 * * * *

示例：每3小时echo和wall命令
    0 */3 * * * centos /bin/echo “howdy”;/usr/bin/wall “welcome to jiakehome!”

系统的计划任务:
    /etc/crontab
    /etc/cron.d/ 配置文件
    /etc/cron.hourly/ 脚本
    /etc/cron.daily/ 脚本
    /etc/cron.weekly/ 脚本
    /etc/cron.monthly/脚本
    定义了每周、每天、每月、每小时要执行的计划任务

选项
-l: 列出所有任务；
-e: 编辑任务；
-r: 移除所有任务；
-i：同-r一同使用，以交互式模式移除指定任务
-u user: 仅root可运行，指定用户管理cron任务

crontab这命令任何用户都可以使用，它也有白名单和黑名单，
        白名单：/etc/cron.allow   默认不存在
        黑名单：/etc/cron.deny    默认存在
    白名单和黑名单中放用户名，有如下几种情况：
        两个文件都不存在，只有root用户可以使用at计划任务
        如果不存在白明单，不在黑名单中的用户可以使用at命令。
        存在白名单，白名单的优先级高于黑名单，有白名单黑名单就不起作用，不在白名单中的用户不能使用at命令。
每当有用户创建一个周期性执行任务的时候都会在/var/spool/cron/目录下有一个对应的用户文件。该文件就是对应用户的周期性执行任务的cron文件，每个用户只有一个对应用户名字的文件，如果用户想多次创建多个周期性计划任务，则打开的是同一个文件。

当作业需要精确到秒级别的时候可以使用sleep命令来配合操作，例如：
* * * * * root for A in {0-9};do echo $A;sleep 20; done

    还可以通过sleep 定义各种时长：
        sleep 数字[prefix]
            prefix : s  秒，默认
                     d  天，
                     m  分，
                     h  小时，

crontab -e 默认使用的是vi工具打开的文件，可以在/etc/profile.d/目录下定义一个环境变量：
    export EDITOR=vim
就可以默认使用vim 编辑器打开了。

！*！对于cron任务来讲，%有特殊用途；如果在命令中要使用%，则需要转义，将%放置于单引号中，则可不用转义

注意：运行结果的标准输出和错误以邮件通知给相关用户
(1) COMMAND > /dev/null
(2) COMMAND &> /dev/null

anacron系统

 运行计算机关机时cron不运行的任务，CentOS6以后版本取消anacron服务，由crond服务管理
 对笔记本电脑、台式机、工作站、偶尔要关机的服务器及其它不一直开机的系统很重要对很有用

 配置文件：/etc/anacrontab，负责执行/etc/ cron.daily
    /etc/cron.weekly /etc/cron.monthly中系统任务。
    • 字段1：如果在这些日子里没有运行这些任务……
    • 字段2：在重新引导后等待这么多分钟后运行它
    • 字段3：任务识别器，在日志文件中标识
    • 字段4：要执行的任务
    - 由/etc/cron.hourly/0anacron执行
    - 当执行任务时，更新/var/spool/anacron/cron.daily 文件
    的时间戳

知识小扩展

windows远程桌面连接：运行输入"mstsc",打开远程连接终端。输入对方的IP地址。

内存泄漏：应用程序占用内存不释放，造成内存占用越来越大。
例如应用程序打开数据库，不进行关闭，造成占用内存不释放。
可以使用pmap 内存工具查看某一进程内存占用情况。

更改httpd服务的主目录

原网页存放目录：/var/www/html

需要修改的文件：/etc/httpd/conf/httpd.conf

将DecumentRoot "PATH" PATH改为你指定的目录

kill -1 httpd进程编号让该服务重新读配置文件使更改后的配置文件生效。

echo $$ 查看当前bash的进程编号

crontab -e -Uwang 编辑的文件，默认是vi 打开，定义环境变量可以使用vim打开：export EDITOR=vim
计划任务中的任务不要带输出，否则会给指定用户发邮件。