一：移动端自动化测试框架对比
概述
1、Monkey是Android SDK自带的测试工具，在测试过程中会向系统发送伪随机的用户事件流，如按键输入、触摸屏输入、手势输入等)，实现对正在开发的应用程序进行压力测试，也有日志输出。实际上该工具只能做程序做一些压力测试，由于测试事件和数据都是随机的，不能自定义，所以有很大的局限性。
2、MonkeyRunner也是Android SDK提供的测试工具。严格意义上来说MonkeyRunner其实是一个Api工具包，比Monkey强大，可以编写测试脚本来自定义数据、事件。缺点是脚本用Python来写，对测试人员来说要求较高，有比较大的学习成本。
3、Instrumentation是早期Google提供的Android自动化测试工具类，虽然在那时候JUnit也可以对Android进行测试，但是Instrumentation允许你对应用程序做更为复杂的测试，甚至是框架层面的。通过Instrumentation你可以模拟按键按下、抬起、屏幕点击、滚动等事件。Instrumentation是通过将主程序和测试程序运行在同一个进程来实现这些功能，你可以把Instrumentation看成一个类似Activity或者Service并且不带界面的组件，在程序运行期间监控你的主程序。缺点是对测试人员来说编写代码能力要求较高，需要对Android相关知识有一定了解，还需要配置AndroidManifest.xml文件，不能跨多个App。
4、UiAutomator也是Android提供的自动化测试框架，基本上支持所有的Android事件操作，对比Instrumentation它不需要测试人员了解代码实现细节（可以用UiAutomatorviewer抓去App页面上的控件属性而不看源码）。基于Java，测试代码结构简单、编写容易、学习成本，一次编译，所有设备或模拟器都能运行测试，能跨App（比如：很多App有选择相册、打开相机拍照，这就是跨App测试）。缺点是只支持SDK 16（Android 4.1）及以上，不支持Hybird App、WebApp。
5、Espresso是Google的开源自动化测试框架。相对于Robotium和UIAutomator，它的特点是规模更小、更简洁，API更加精确，编写测试代码简单，容易快速上手。因为是基于Instrumentation的，所以不能跨App。配合Android Studio来编写测试的简单例子
6、Selendroid：也是基于Instrumentation的测试框架，可以测试Native App、Hybird App、Web App，但是网上资料较少，社区活跃度也不大。
7、Robotium也是基于Instrumentation的测试框架，目前国内外用的比较多，资料比较多，社区也比较活跃。缺点是对测试人员来说要有一定的Java基础，了解Android基本组件，不能跨App。
8、Appium是最近比较热门的框架，社区也很活跃。这个框架应该是是功能最强大的，
它的优点：
·开源；
支持Native App、Hybird App、Web App；
支持Android、iOS、Firefox OS；
Server也是跨平台的，你可以使用Mac OS X、Windows或者Linux；
它的哲理是：
用Appium自动化测试不需要重新编译App；
支持很多语言来编写测试脚本，Java、Javascript、PHP、Python、C#、Ruby等主流语言；
不需要为了自动化测试来重造轮子，因为扩展了WebDriver。（WebDriver是测试WebApps的一种简单、快速的自动化测试框架，所以有Web自动化测试经验的测试人员可以直接上手）；
移动端自动化测试应该是开源的；
它的设计理念：
Client/Server架构，运行的时候Server端会监听Client端发过来的命令，翻译这些命令发送给移动设备或模拟器，然后移动设备或模拟器做出响应的反应。正是因为这种架构，所以Client可以使用Appium client libraries多种语言的测试脚本，而且Server端完全可以部署在服务器上，甚至云服务器。
Session，每个Client连接到Server以后都会有一个Session ID，而且Client发送命令到Server端都需要这个Session ID，因为这个seesion id代表了你所打开的浏览器或者是移动设备的模拟器。所以你甚至可以打开N个Session，同时测试不同的设备或模拟器。
Desired Capabilities，其实就是一个键值对，设置一些测试的相关信息来告诉Server端，我们需要测试iOS、还是Android，或者换是WebApp等信息。
Appium Server是Node.js写的，所以可以直接用NPM来进行安装。
Appium Clients，Mac OS和Win下提供GUI，不需要装Node.js，方便测试人员操作。
总结：
在iOS部分是封装了UIAutomation；Android 4.2以上是用UiAutomator，Android 2.3 ~ 4.1用的是Instrumentation，也就说Appium同时封装了UiAutomator和Instrumentation。所以Appium拥有了以上几大框架的所有优点：跨App，支持Native App、Hybird App、Web App，还支持N种语言来编写你的测试脚本。
二：国内外主流云测试平台对比
国外主流的云测试平台：
·Xamarin Test Cloud (https://xamarin.com/test-cloud/)
·TestDroid (http://testdroid.com/)
·Sauce Labs (https://saucelabs.com/mobile/)
·Google Cloud Test Cloud (https://developers.google.com/cloud-test-lab/)
·AWS Device Farm (https://aws.amazon.com/device-farm/)
图1 － 国外主流的云测试平台对比
从上图我们可以看到一些特点：
1.在测试设备的数量上，Xamarin Test Cloud和Sauce Labs都是非常有优势的，虽然Xamarin Test Cloud统计的是测试设备的数量，而Sauce Labs是平台的数量；
2.亚马逊自己的FireOS只被自己的云测试平台支持，在国内我们也能看到类似的例子；
3.所有的云测试平台都支持app测试，但是只有TestDroid支持游戏测试；
4.对于国内云测试平台提供的人工测试，安全测试，内测分发和众包测试，国外这些云测试平台都是不支持的，需要结合别的工具和框架进行使用。不过对于手动测试，Sauce Labs和Perfecto这两个云测试平台支持租用测试设备进行手动测试；
5.对于云测试基础功能的兼容测试，以及脚本测试，崩溃分析和持续集成，这些云测试平台都是支持的；
6.只有Xamarin Test Cloud，TestDroid和AWS Device Farm支持性能监控；
7.对于脚本测试所使用的移动app自动化测试框架，每个平台都不甚相同：
·Xamarin Test Cloud支持Calabash（iOS和Android）和自己的Xamarin.UITest;
·TestDroid支持很多框架，包括支持iOS的Calabash，appium，UI Automation和 Jasmine，以及支持Android的Calabash，appium，Espresso，Robotium和uiautomator；
·Sauce Labs支持自己的开源框架appium；
·Google Cloud Test Lab则支持Espresso，Robotium和Robo test；
·AWS Device Farm也支持很多框架，包括支持iOS的Calabash，appium，UIAutomation和XCTest，以及支持Android的Calabash，appium，JUnit，Espresso，Robotium和uiautomator。
8.Xamarin Test Cloud，TestDroid和Sauce Labs都有自己的移动app测试脚本录制工具，分别是：Xamarin Test Recorder，TestDroid Recorder和appium inspector。
综合来看，对于国外的云测试平台，如果侧重的是测试设备的覆盖程度，选择Xamarin Test Cloud和Sauce Labs会更合适；如果需要测试FireOS设备，那就选择AWS Device Farm；如果侧重的是脚本测试中支持的语言和框架，那就可以选择TestDroid和AWS Device Farm；如果是进行游戏测试，只能选择TestDroid；如果要远程连接测试设备进行手动测试，那就需要选择Sauce Labs和Perfecto；如果在测试过程中需要同步监测性能，就不能选择Sauce Labs和Google Cloud Test Lab。
国内主流的云测试平台：
·Testin云测 (http://www.testin.cn/)
·百度MTC (http://mtc.baidu.com/)
·腾讯优测(http://utest.qq.com/)
·阿里MQC (http://mqc.aliyun.com/)
·贯众云测试(http://cloudtest.komect.com/)这里不做主要对比
·WeTest(http://wetest.qq.com/这里不做主要对比
图2 － 国内主流的云测试平台对比
从上图我们也可以看到一些特点：
1.Testin云测支持的测试设备数量最多，达到了600部Android和70部iOS终端的数量；但是和Xamarin Test Cloud以及Sauce Labs支持的设备数量还是有不少差距的；
2.和亚马逊类似，阿里的YunOS也只有阿里MQC才能支持；
3.和国外的云测试平台很类似，这四个国内云测试平台也都支持app的云测试，而不支持游戏测试；只有Testin云测支持游戏测试；
4.对于云测试基础功能的兼容测试，国内主流云测试平台都是支持的；
5.这四个国内云测试平台也都支持崩溃分析，不过对于性能监控，却只有百度MTC支持，而且百度MTC的深度性能测试中还可以做竞品app的性能对比；
6.Testin云测和百度MTC不支持手动测试；
7.只有阿里MQC不支持人工测试；
8.只有Testin云测不支持安全测试；对于支持安全测试的云测试平台，也没有公布是如何进行安全测试的；
9.Testin云测支持内测分发和众包测试，阿里MQC支持众包测试，其它两个云测试平台对于内测分发和众包测试都不支持；
10.对于脚本测试，只有腾讯优测不支持；而对于测试工具和框架，各个平台的支持也不相同：
·Testin云测支持Robotium，JUnit，淘宝的Athrun和Testin SDK，其中只有Testin SDK支持iOS和Android，其他框架都只支持Android；
·百度MTC只支持通过自己的测试脚本录制工具录制的脚本；
·阿里MQC支持Robotium和增强后的appium，其中appium可以支持iOS和Android；
11.Testin云测，百度MTC和阿里MQC都提供了自己的测试脚本录制工具，分别是itestin录制回放工具，百度MTC录制回放工具和易测；
12.国内云测试平台都没有提及持续集成，不过从笔者的了解看来，Testin云测和阿里MQC应该是都支持的。
对于国内云测试平台，如果需要覆盖更多的测试设备或者需要测试游戏亦或需要内测分发，只能选择Testin云测；如果需要测试YunOS设备，那就需要选择阿里MQC；如果需要进行性能监控和竞品对比，那就选择百度MTC；如果要远程连接测试设备进行手动测试，那就需要选择腾讯优测和阿里MQC；如果需要雇佣云测试平台的专业测试人员，就不能选择阿里MQC；如果需要进行安全测试，就不能选择Testin云测；如果需要进行众包测试，那就选择Testin云测和阿里MQC；如果要进行脚本测试，就不能选择腾讯优测，对于百度MTC也不推荐。
三：系统、开发工具及IDE自带工具
1：AndroidMonitor(Memory monitor、Cpu monitor、GPU monitor、NetworkMonitor)（https://developer.android.com/studio/profile/android-monitor.html）
2:TraceView (https://developer.android.com/studio/profile/traceview.html)
3:Systrace(http://developer.android.com/tools/help/systrace.html)
4:HierarchyViewer(https://developer.android.com/studio/profile/hierarchy-viewer.html)
5:GL Tracer(http://developer.android.com/tools/help/gltracer.html)
6:Heap Viewer
(http://developer.android.com/tools/performance/heap-viewer/index.html)
7:Batterystats and Battery Historian（https://developer.android.com/studio/profile/battery-historian.html）
8:GPU Overdraw(http://developer.android.com/tools/performance/debug-gpu-overdraw/index.html)
四：其它
NimbleDroid(https://nimbledroid.com/)
Fixing Memory leaks
(http://riggaroo.co.za/fixing-memory-leaks-in-android-outofmemoryerror/)
Leakcanary(https://github.com/square/leakcanary)
网友评论