使用Gearman作为云服务队列处理套件

作者: banyan_Cheung | 来源:发表于2014-07-10 21:19 被阅读0次

使用Gearman作为云服务队列处理套件
Gearman使用
Python 使用 Beanstalkd 做异步任务处理
Redis实现发布订阅模式
supervisor队列异常bug
分布式消息事务解决方案选型详解
gearman
网易云办公套件实现云端办公场景
Android--简阅（1）：Bmob晕平台集成
POS系统后台服务优化方案

前言:

产品线中的云服务这块是我一人负责，目前正在起步阶段，很快便遇到了第一个性能瓶颈，便是发送API请求时的阻塞问题。经常导致脚本执行超时。
截止至发步时，已经研究并部署到了实际生产环境中，姑且把这篇学习过程中的笔记发出来，算是简书的处女作吧。

以下是原文。

无论是测试还是正式部署，下面文档的应用环境是：

CentOS 6.5 带桌面环境。

LAMP 或 LNMP。

全程使用Root账户登录

安装与配置

配置LAMP或者LNMP环境。

可参考这里。

数据库：如果有必要可安装 phpmyadmin 或者 navicat 作为数据库管理工具

注意：如果使用 centos安装时自带的 web 服务器与 php 服务会有许多莫名其妙的问题。建议安装centos时不要用自带的软件包，而是根据以上的链接教程配置 LAMP 或 LNMP 环境。

安装基本 package

这步非常重要，可以决定你接下来的步骤会不会出错。

  yum install vim wget gcc gcc-c++ make dos2unix gperf libevent libevent-devel
  zlib-devel bzip2-devel openssl-devel ncurses-devel
  boost boost-devel mysql-devel php-devel libuuid-devel

安装Gearman套件。

  wget https://launchpad.net/gearmand/1.2/1.1.12/+download/gearmand-1.1.12.tar.gz
  tar -zxvf gearman-1.1.12.tar.gz
  cd gearman-1.1.12
  ./configure
  make
  make install

安装php扩展

  wget http://pecl.php.net/get/gearman
  mv gearman gearman.tar.gz
  tar -zxvf gearman.tar.gz
  cd gearman-1.1.2/  //版本号以下载下来的为准
  phpize
  ./configure
  make
  make install

修改/etc/php.ini,增加一行：

  ; Enable gearman extension module
  extension=gearman.so

可使用 php --info | grep "gearman" 来检测该php扩展有没有安装。或者查看打印了 phpinfo() 的页面

如果正确安装的话，会得到 gearman support => enabled 的信息

启动 Gearmand 守护程序

直接执行

  gearmand -d

可能会出现如下错误：

  Could not open log file "/usr/local/var/log/gearmand.log", from "/usr/sbin",
  switching to stderr. (No such file or directory)

解决：

  mkdir -p /usr/local/var/log/
  cd /usr/local/var/log/
  touch gearmand.log

再次尝试启动: gearmand -d，成功运行。

可用命令 ps -ef | grep gearmand 来查看相关服务启动与否。

使用

原理与名词

名词
- jobserver ：任务服务器，负责接收任务注册(client)，任务处理的分发调度 (worker)
- client ：一个 client 即一次要并发处理的任务。它可以指定所使用的 jobserver ，决定执行任务的方法是用同步还是用异步的方式。
- worker ：一个 worker 即一种任务的解决方案。它可以指定所使用的 jobserver，跟 client 所指定的 jobserver 是一样的。多个 client 可以用同一个 worker，比如有1000封邮件的任务，即1000个 client ,它们都只需要一个 处理发送邮件 的worker.
基本原理:
- 安装和启动一台或多台 jobserver , 即第一章 安装与配置里 的 安装gearmand套件 与 启动gearmand守护程序 这两个步骤。这两个步骤确定了一台 jobserver 的建立与使用。
  - 可以搞多台服务器做并发，同样是这两个步骤。这样可以确保如果其中一台jobserver挂掉了，其余的 client 与 worker 不会丢失。
  - 记得要配置好防火墙，开放4730端口。
  - 如果这些服务器单纯只是用来做 jobserver 分发的话，这些服务器不需要安装web服务。
  - 在该文档中，无论测试还是部署暂时都只是在一台服务器上
- 注册与启动一个或多个 worker：
  - 通过addServer或addServers方法注册到一个或多个jobserver,然后等待分发任务（通过循环）。
  - 与 jobserver 一样，也可以搞多台服务器做并发操作。这些用作worker的服务器，如果worker是web服务的话，需要安装web服务，其余需要配置的与第一章雷同。
- 注册一个或多个 client：
  - 通过addServer或addServers方法注册到一个或多个jobserver,然后根据指定的工作方式(同步或异步)来决定反馈。
  - 需要安装gearman的php扩展
简单的测试DEMO

worker.php
```
  <?php

      $worker = new GearmanWorker();
        $worker->addServer();
        $worker->addFunction("title", "title_function");
        while ($worker->work());

        function title_function($job){
          return ucwords(strtolower($job->workload()));
        }

  ?>
```
client.php
```
  <?php

        $client= new GearmanClient();
        $client->addServer();
        print $client->do("title", "AlL THE World's a sTagE");
        print "\n";

  ?>
```
在网站根目录创建这两个文件并键入以上代码。

可从命令行或者浏览器直接执行这两个文件。在此例中，先启动 worker.php。

shell: php worker.php

浏览器：访问localhost/worker.php

为什么呢？因为 client.php 里用的是 do 方法，是同步等待的操作，是必须等到 worker 有反馈才会执行下一步操作的。

因此先启动 worker.php ，其开始了一个循环不停地等待接收任务。这个时候另开一个窗口或者命令行执行 client.php,

就会得到一个 worker.php 的 title_function() 函数执行后的内容了。
参考来源