基于Calabash的自动化测试框架

Calabash 简介

Calabash 是一个开源的，能够使用自然语言描述的测试用例，支持行为驱动开发（BDD）的跨平台自动化测试工具，支持 iOS，Android 和 Hybrid 。类似的测试框架还有 Kiwi，Specta，Appium 等。但 Calabash 最让人眼前一亮的它能够使用汉语来描述测试用例，这对中国开发者来说真是太爽歪歪了。它使用 Ruby 来编写具体测试用例代码，用 Cucumber 作为测试核心。
这有什么意义呢？在基于 Scrum 的敏捷开发管理模式中十分流行使用 Calabash 来做自动化测试框架（可持续交付的一部分），想象一下：产品负责人（Product Owner）使用自然语言来编写用户故事（相当于编写测试用例），然后开发团队（Scrum Team）则根据用户故事翻译成相应的 Ruby 测试脚本，最后产品负责人根据用户故事来验收成果。这对大多数移动端测试人员来说太爽了，终于可以专注于代码能力提高而把繁琐的编写测试用例甩锅给产品人员了。（产品经理们不会划圈圈诅咒我吧，哈哈哈，其实是移动端实现自动化测试的价值很大）

Calabash-iOS 架构

Calabash-iOS 是包含 Ruby 编写一个 API 库和用 Objective-C 编写的一个服务框架 calabash.framework。测试框架主要由三部分组成：目标 App，calabash.framework，Calabash API，Steps 和 feature 文件。该架构如下图：

calabash-ios.jpg

Calabash 环境搭建

本文以 iOS 为例，开发环境要求：
1、MacOS 10.10 or 以上
2、Xcode 6 or 以上
3、iOS Devices >= 7.1
4、iOS Simulators >= 8.0
5、ruby >= 2.0

安装步骤：

安装 Ruby gem

// 安装 Homebrew
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/uninstall)”// 安装 ruby\curl -sSL https://get.rvm.io | bash -s stablervm install 2.3.0// 更新 gemgem update

安装 calabash-cucumber，calabash-cucumber-ios-cn

brew install calabash-cucumber
brew install calabash-cucumber-ios-cn

配置iOS工程

进入工程目录，执行

gem install bundler  
bundle update  // 安装需要更新的gems包
calabash-ios setup  // 初始化calabash
calabash-ios gen // 生成features目录

到这步生成一个新的 features 目录，如下

features    // 特性目录
|_support
| |_01_launch.rb
| |_dry_run.rb
| |_env.rb
| |_patches
| | |_cucumber.rb
|_steps    // 用例脚本定义目录
| |_sample_steps.rb
|_sample.feature // 用例描述文件TC

编译测试工程源码

上一步配置中会为 iOS 工程添加一个名为 <app_bundle_name>_cal 的测试 target 。为了能够让 Ruby 脚本获取到各种 UI 控件，我们还需要在代码中添加一些标记，具体做法：把用例涉及到所有 UI 控件都设置一行代码，如下：

// 可使用中文，也可使用英文，对应用例描述文件中的自然语言
<控件实例>.accessibilityLabel = @"输入用户名";

在 iOS 中90％的控件都是可以直接设置 accessibilityLabel 属性，但是有些控件就没有，像常见的 UICollectionViewCell 就没有，这样就需要自己实现了，实现如下：

UICollectionViewCell.jpg

选中新生成的 target 编译，运行，如果能看到控制台输出如下信息，iOS 工程即配置完毕。

running.jpg

执行cucumber

执行 cucumber 命令，顺利地话我们就完成了整个环境的搭建。

demo.jpg

更详细的信息，参见 https://github.com/calabash/calabash-ios

Calabash 语法

首先学习行为驱动（BBD）语法，之前生成的 feature 文件就是 Cucumber 自带的通过自然语言来编写的用例文件，也就是最终的测试用例代码文件，标准格式如下：

yufa.jpg

steps 目录中对应的 rb 文件用来定义测试用例的步骤，其实就是把用例翻译成 Ruby 脚本的过程，每一个步骤包含：一个正则表达式（匹配 feature 中的文本）和一个 Ruby 代码块（执行操作）。
常见的匹配关键字如下：

table.jpg

至于 Ruby 语法这里就不详细说明，参见官网 https://github.com/calabash/calabash-ios/wiki/Calabash-iOS-Ruby-API
还是很抽象，举个实战例子，customerLogin.feature 和 customerLogin_steps.rb 文件。
注意规则：
1、文件命名必须用英文，单词间可用下划线分隔，也可用驼峰法则；
2、每一个 feature 文件都对应一个 rb 文件，一般命名相同；
3、feature 文件中编写的每一个步骤，都需要在 rb 文件中定义
如下图示：

sample_feature.jpg sample_step.jpg

然后执行 cucumber，看看测试结果

login.jpg

还可以生成测试报告集成到 Jenkins 中

cucumber –format html –out test-report.html

Calabash 的优缺点

优点：
1、Calabash 是 BDD 驱动开发，自然语言的处理属于人工智能领域（未来很可能发展成为语音测试，米国某牛逼公司已经在尝试使用 OpenCV 图像识别来做 UI 测试，验收标准使用 UI 交互设计稿做匹配）
2、Calabash 是测试脚本与用例设计，在业务变化的情况下，只要功能存在基本只需要修改用例，在业务不变，功能变化的情况下，基本只需要修改脚本
3、Calabash 免费是支持扩展的，而且非常容易扩展
4、Calabash 开源免费，由 Xamarin 公司技术支持，很多敏捷团队在使用
5、Calabash 运行速度快，真机

缺点：
1、测试用例无法断点调试
2、需要配置工程，修改相应代码
3、每个测试用例都需要重启 APP

对测试人员的技术栈要求：
1、能看懂 iOS，Android 代码，可以给控件设置属性。最好全栈，Java，JavaScript 一块测试
2、会 Ruby 基础，能写脚本
3、能看的懂错误，解得了 bug

结语

测试用例（用户故事）的编写是个逐步修炼完善的过程，仅凭一篇文章很难完全掌握 Calabash 的精髓。​iOS自动化测试一直很神秘，很多人都在探索和找寻最强大的那一款自动化测试工具，事实上没有最强大只有最适合，适合以后使用熟练了自然功能强大了。