前言
本文仅简单介绍整个集成到部署的流程,因为每个环节都有很多细节,无法一篇文章就能写清楚,如果你在集成都过程中有遇到问题,先看扫盲贴,Google,如果还不能解决,再留言。
先看下成果:
image.png点击执行,选择要执行的分支,开始执行可以,大概半个小时候,会收到邮件通知结果。
image.png大致流程
image.png什么是MonkeyTest
Monkey Test 也有人叫做搞怪测试。就是用一些稀奇古怪的操作方式去测试被测试系统,以测试系统的稳定性。monkey test,一般指这样的测试活动,用毫无规律的指令或操作使用被测系统,观察系统的稳定性和容错性能。
当Monkey程序在模拟器或设备运行的时候,如果用户触发了比如点击,触摸,手势或一些系统级别的事件的时候,它就会产生随机脉冲,所以可以用Monkey用随机重复的方法去负荷测试你开发的软件.
背景介绍
前期调研过程中,发现大部分第三方框架都已经过时,很难在当前的环境下跑通。在TesterHome上看到了集众家所长的FastMonkey,于是开始了踩坑日记。
// 我的环境
设备:Mac Book Pro
OS:Mac OS Mojave 10.4
XCode:10.1
carthage: 0.33.0
简单介绍一下carthage
,做过iOS开发都应该熟悉CocoaPods
,carthage
同样是用于管理三方库的工具。一下为其安装方法
// 在brew install的时候会自动先去更新brew仓库目录,这个过程可能需要几分钟。
brew install carthage
// 查看版本
carthage vresion
// 更新至最新版
brew upgrade carthage
// 安装完了,cd到工程目录下,执行:
carthage install
你可能会在以上任何一个步骤里遇到阻断,可以先查下扫盲帖。
集成FastMonkey
搭建环境
参考: Xcode9.2环境搭建FastMonkey进行Monkey测试
扫盲:fastmonkey 自我扫盲贴
整了半天 XCode10.2.1 跑不起来,原因是框架调用了私有接口,而这部分在XCode 10.2.1 官方改了接口。最后我将版本降为 10.1 就跑通了。
脚本执行
在能手动跑起FastMonkey的时候,这时候你需要做的是通过脚本,在模拟器上跑完这个流程。
脚本流程:
- 打开模拟器
- 如果是RN项目,对项目
npm install
+pod install
- 自动
Build
,安装.app
到模拟器 - 执行FastMonkey
- 关闭模拟器 & 重制模拟器
// Python 参考脚本
// 打开模拟器
os.system('xcrun instruments -w "iPhone 6s Plus (12.1)"')
// 自动`Build`,安装`.app`到模拟器
os.system("xcodebuild -workspace /opt/app/Jenkins/workspace/iOS\ MonkeyTest/ios/Demo.xcworkspace -scheme Demo -configuration Release -destination 'platform=iOS Simulator,name=iPhone 6s Plus' -derivedDataPath build")
os.system('xcrun simctl install booted /Users/qudian-qa/build/Build/Products/Release-iphonesimulator/Demo.app')
// 执行FastMonkey
cmd_monkey = "xcodebuild -project /opt/app/Jenkins/workspace/MonkeyTest/XCTestWD-master/XCTestWD/XCTestWD.xcodeproj " \
"-scheme XCTestWDUITests " \
"-destination 'platform=iOS Simulator,name=iPhone 6s Plus' " \
"clean test"
os.system(cmd_monkey)
// 关闭模拟器 & 重制模拟器
os.system("xcrun simctl shutdown all")
os.system("xcrun simctl erase")
如果需要真机跑自动跑的化,你还需要通过brew安装一些依赖的三方软件,这个流程我也跑过,参考链接,在git上有对应Python脚本。
统计日志
在执行完Monkey脚本后,在本地/Users/XXX/Library/Logs/DiagnosticReports
会有Crash日志。
这个过成就是要把这些日志文件打包,以及统计Crash
的次数,通过邮件发送到指定的邮箱。
统计指标:
- 时长:从开始执行Monkey开始到结束,计算时长。
- 崩溃:统计并打包Monkey过程中产生的
.crash
文件。
注意,在执行xcodebuild monkey
的时候,指定一下-derivedDataPath PATH
,以便执行完快速定位.xcresult
文件,对其进行打包,作为邮件附件上传。
部署Jenkins
Jenkins环境因为公司其他伙伴已经部署好,我要做的是创建一个新的工程,配置一下对应的信息,关联到服务器。
部署环境:Mac Jenkins的安装和使用
配置邮箱:Jenkins发送测试报告邮件
将上一步得到的接口写入到 Report.md
文本文件,将打包好的log.zip
、Report.md
发送到指定邮箱。
总结
前期应该做好调研工作,尽量将工作细化,每解决一个问题都记录下来存档,每天都有个小目标,每天都有收获。
网友评论