使用Gearman作为云服务队列处理套件

前言:

产品线中的云服务这块是我一人负责，目前正在起步阶段，很快便遇到了第一个性能瓶颈，便是发送API请求时的阻塞问题。经常导致 脚本执行超时。
截止至发步时，已经研究并部署到了实际生产环境中，姑且把这篇学习过程中的笔记发出来，算是简书的处女作吧。

以下是原文。

无论是测试还是正式部署，下面文档的应用环境是：

CentOS 6.5 带桌面环境。

LAMP 或 LNMP。

全程使用Root账户登录

安装与配置

• 配置LAMP或者LNMP环境。

  可参考这里。

  数据库：如果有必要可安装 phpmyadmin 或者 navicat 作为数据库管理工具

  注意：如果使用 centos安装时自带的 web 服务器与 php 服务会有许多莫名其妙的问题。建议安装centos时不要用自带的软件包，而是根据以上的链接教程配置 LAMP 或 LNMP 环境。

• 安装基本 package

  这步非常重要，可以决定你接下来的步骤会不会出错。

    yum install vim wget gcc gcc-c++ make dos2unix gperf libevent libevent-devel
    zlib-devel bzip2-devel openssl-devel ncurses-devel
    boost boost-devel mysql-devel php-devel libuuid-devel
  

• 安装Gearman套件。

    wget https://launchpad.net/gearmand/1.2/1.1.12/+download/gearmand-1.1.12.tar.gz
    tar -zxvf gearman-1.1.12.tar.gz
    cd gearman-1.1.12
    ./configure
    make
    make install
  

• 安装php扩展

    wget http://pecl.php.net/get/gearman
    mv gearman gearman.tar.gz
    tar -zxvf gearman.tar.gz
    cd gearman-1.1.2/  //版本号以下载下来的为准
    phpize
    ./configure
    make
    make install
  

  修改/etc/php.ini,增加一行：

    ; Enable gearman extension module
    extension=gearman.so
  

  可使用 php --info | grep "gearman" 来检测该php扩展有没有安装。或者查看打印了 phpinfo() 的页面

  如果正确安装的话，会得到 gearman support => enabled 的信息

• 启动 Gearmand 守护程序

  直接执行

    gearmand -d
  

  可能会出现如下错误：

    Could not open log file "/usr/local/var/log/gearmand.log", from "/usr/sbin",
    switching to stderr. (No such file or directory)
  

  解决：

    mkdir -p /usr/local/var/log/
    cd /usr/local/var/log/
    touch gearmand.log
  

  再次尝试启动: gearmand -d，成功运行。

  可用命令 ps -ef | grep gearmand 来查看相关服务启动与否。

使用

• 原理与名词

  名词

  • jobserver ： 任务服务器，负责接收 任务注册(client)，任务处理的分发调度 (worker)
  • client ： 一个 client 即一次要并发处理的任务。它可以指定所使用的 jobserver ， 决定执行任务的方法是用同步还是用异步的方式。
  • worker ： 一个 worker 即一种任务的解决方案。 它可以指定所使用的 jobserver，跟 client 所指定的 jobserver 是一样的。多个 client 可以用同一个 worker，比如有1000封邮件的任务，即1000个 client ,它们都只需要一个 处理发送邮件 的worker.

  基本原理:

  • 安装和启动一台或多台 jobserver , 即 第一章 安装与配置里 的 安装gearmand套件 与 启动gearmand守护程序 这两个步骤。这两个步骤确定了一台 jobserver 的建立与使用 。

    • 可以搞多台服务器做并发，同样是这两个步骤。这样可以确保如果其中一台jobserver挂掉了，其余的 client 与 worker 不会丢失。
    • 记得要配置好防火墙，开放4730端口。
    • 如果这些服务器单纯只是用来做 jobserver 分发的话，这些服务器不需要安装web服务。
    • 在该文档中，无论测试还是部署暂时都只是在一台服务器上

  • 注册与启动一个或多个 worker：

    • 通过addServer或addServers方法注册到一个或多个jobserver,然后等待分发任务（通过循环）。
    • 与 jobserver 一样，也可以搞多台服务器做并发操作。这些用作worker的服务器，如果worker是web服务的话，需要安装web服务，其余需要配置的与第一章雷同。

  • 注册一个或多个 client：

    • 通过addServer或addServers方法注册到一个或多个jobserver,然后根据指定的工作方式(同步或异步)来决定反馈。
    • 需要安装gearman的php扩展

• 简单的测试DEMO

  worker.php

    <?php
  
        $worker = new GearmanWorker();
          $worker->addServer();
          $worker->addFunction("title", "title_function");
          while ($worker->work());
  
          function title_function($job){
            return ucwords(strtolower($job->workload()));
          }
  
    ?>
  

  client.php

    <?php
  
          $client= new GearmanClient();
          $client->addServer();
          print $client->do("title", "AlL THE World's a sTagE");
          print "\n";
  
    ?>
  

  在网站根目录创建这两个文件并键入以上代码。

  可从命令行或者浏览器直接执行这两个文件。在此例中，先启动 worker.php。

  shell: php worker.php

  浏览器： 访问localhost/worker.php

  为什么呢？因为 client.php 里用的是 do 方法，是同步等待的操作，是必须等到 worker 有反馈才会执行下一步操作的。

  因此先启动 worker.php ，其开始了一个循环不停地等待接收任务。这个时候另开一个窗口或者命令行 执行 client.php,

  就会得到一个 worker.php 的 title_function() 函数执行后的内容了。

• 参考来源

  • http://gearman.org
  • http://www.ibm.com/developerworks/cn/opensource/os-php-gearman/
  • http://my.oschina.net/wakanoc/blog/101789?p=4#comments
  • http://hi.baidu.com/billdkj/item/6810fceada157aabc10d752f
  • http://www.ttlsa.com/gearman/gearman-mysql/
  • http://blog.sina.com.cn/s/blog_5f54f0be0101btsi.html
  • http://blog.sina.com.cn/s/blog_54ef398901018fog.html