关于内测相关流程，总结一下我们早期曾经做过内测的经验，做了一个简单的流程梳理，以及我们目前存在的问题和需要做的工作也做了说明,也欢迎各位补充.
早期在三个平台中，从曾经做过的WP平台来说.走了很多弯路也收获一些可行的经验.
内测目的
内测在我们内部其实已经做了很久.从几个大的方面来梳理我们内测目的如下:
A:产品-验证早期产品设想是否达到预期,获取更多有效反馈完善细节&修正偏差.
B:开发-上线前能够覆盖足够多的机型和不同使用场景获取更多Bug修复机会.
C:运营-高频率内测能够形成一定用户关注&培养品牌忠诚度.借势运营...
More...
内测流程
内测流程(点击看大图)[Via by chenkai]
如上梳理的是我们已经做过内测流程,内测整个流程涉及的细节偏多.为了保证各位能够很好理解并准确了解各个环节细节和存在的问题，如下我会逐个对每个环节进行分解说明.
1.招募内测用户
内测用户招募上我们现在一般通过官方论坛发帖，然后通过官方微博或其他第三方社区转发途径然来招募. 这个流程存在如下问题：
A:招募用户面有限.
B:内测用户质量参差不齐,主要体现在是否针对我们内测有主动的反馈意愿? 另外就是反馈问题的质量.
C:内测用户在我们内部缺乏有效管理和长期的维护，活跃度低且流失严重.
D:内测资格缺乏管理，用户参加内测成本偏高,类似论坛登录的限制，内测资格获取等
对招募用户大致可分为两个大的类别:
A:关注我们品牌&产品,熟悉同行业或一线app,对产品细节有自我诉求.
B:普通用户.因为客户端用户基数偏大,平台不同伴随机型和支持的系统版本&分辨率细节上也有很大差异，普通用户能够在内测覆盖面上最接近真实发布后场景，能在上线前有效发现我们应用自身的Bug，提供有力保障.
B类用户基本招募上已经没什么要求，保证基数和持有设备多样化即可.A类用户则需要针对不同平台去找相关垂直社区(A类用户聚集地方)，类似生态媒体都能很好挖掘到. 重点在A类上多下点功夫会节省很多后续我们自己的筛选成本.
招募方式上.我们原来流程是通过论坛&或者其他第三方社区来做，而整个内测资格收集和发放没有一个统计的管理.而且是纯手工的.费时费力.很难有效控制内测资格.改善如下:
内测资格招募&管理[Via by chenkai]
在官方网站增加一个关于内测的入口.所有招募新用户内测资格都从这里统一由参加内测的用户自己申请录入，并可以在我们后台上针对不同平台[IOS/Android/WP]的不同应用版本[5.0/5.1]控制内测用户的资格和数量. 当用户内测资格在后台通过管理员审核通过后并以Email方式通知该用户.同时在内测后台发布新的内测版本包后也可以通过email方式邀请未获取内测资格的用户参加内测.
在开放给用户申请内测时.考虑到需要后台审核，如果在审核时增加一个申请理由的描述，后台管理员可以优先审核通过有描述且比较关心我们产品用户优先加入审核. 如果我们在某个版本做了一个机型或系统版本的适配. 则可以优先审核通过对应的机型和系统版本申请用户.这样利于我们能够内测用户选择上针对性更强.
2.内测用户筛选和管理
经过在WP平台上长期的实践，我们发现虽然能够招募过来很多有效的内测用户，但不同用户之间对产品的诉求，自我主动反馈的意愿等存在很大的差异.为了保证管理上效率，我们针对内测坐了一定的筛选和分离 如下:
内测用户筛选[Via by chenkai]
我们把那些关注我们产品，具有主动反馈意愿且熟悉行业app产品，反馈频率和内容质量较高的用户从早期论坛&微博&QQ群里筛选到微信群进行重点维护. 而对于那些持有不同设备和系统版本的技术较大的，很那提供有效反馈的普通用户则继续放在QQ群里，我们定期根据论坛和QQ群反馈内容质量进行筛选和甄别. 把符合条件用户拉到核心用户群.
QQ群并不适合跟用户探讨产品细节或者收集有效的反馈.偏向娱乐化和碎片化较严重.相对来说控制了人数和质量微信群上下文较比较连贯完整.只需要平时把大部分精力放核心用户群维护上，适合在小范围讨论产品上一些问题,就能很好收集到质量较高的反馈.
而这个筛选和维护的过程是长期，并非能一劳永逸.而最适合做这件事的角色一般是非常熟悉整个项目业务和技术实现细节的人.所以TeamLeader 是不二的人选.
3.内测版本包的发布
版本包的发布上，虽然各个平台(IOS、Android、WP)各自流程差异巨大.但依然存在很多共性.这也是我们寻求统一控制解决方案的关键.
WP平台内测流程如下:
WP内测流程(点击看大图)[Via by chenkai]
Ms官方对WP应用内测支持很好,只需要收集用户的Live Id(类似AppleId),在官方市场发布内测包，内测包包含符合内测资格用户的Live Id，上传官方市场后内测版本是搜索不可见的.审核通过后，官方给出一个下载链接，把下载链接分发给用户后，当用户其点开链接下载时会验证用户手机绑定Live Id是否在内测资格符合,如果不符合则无法正常下载.反之正常使用.
PS:[如果用户是开发者手机已经解锁或系统强制越狱 则可以通过分发xap安装包]
IOS平台内测流程如下:
IOS内测流程(点击看大图)[Via by chenkai]
IOS平台内测则相对简单很多,通过采用adhoc分发或者企业证书方式,直接打包成IPA.测试用户通过下载链接下载IPA文件即可在用户手机不越狱情况安装内测包.相对于WP平台,IOS内测流程存在两个问题:
A:一旦开放下载链接，无法有效控制内测用户的资格.
B:企业开发者账户如果被Apple官方发现滥用情况下，有被意外被封掉的风险.
Android平台内测流程如下:
Android内测流程(点击看大图)[Via by chenkai]
Android平台因为机型和应用市场分化较多. Google Play官方市场提供相应内测机制,但实际情况是普通用户使用率较低，且官方市场经常存在连接不上的问题.基本上Android 用户都能通过直接给apk安装包方式实现内测包的安装. 门槛算是三个平台最低的.
如上三个平台内测机制和流程已经非常清晰.重点来考虑IOS和Android平台内测.Well两个平台共同点为我们寻求统一的解决方案提供了可能.
流程统一后梳理如下:
统一后内测流程(点击看大图)[Via by chenkai]
把IOS和Android统一后,首先招募内测用户通过官网内测入口，录入必要用户信息后申请对应平台(IOS/Android)内测资格. 后台管理员审核内测资格通过后.email邮件方式告知内测用户申请成功. 当对应平台发布新的内测版本包时,选择参加本次版本包内测用户(内测用户因为可能在不用场景使用，类似只给公司内部员工使用，那则有必要加入内测用户分组功能).根据上传版本包地址生成下载二维码.并同时email方式把下载二维码和更新日志通知给内测用户.那么整个简化后内测流程全部走完.
可以看到其实IOS和Android 两个平台共性是都可以完全把安装包开放给普通用户下载，安装内测包. 而我们为了控制整个流程.需要保证内测资格唯一性-只有内测资格的用户才能下载安装参加内测. so 针对这种情况. 在内测包发布成功后. 根据用户提供设备信息IMEi，生成一个唯一的QRCode二维码. 只有改用户能够用自己设备扫描下载.其他用户即使有了这个二维码，如果没有内测资格依然无法下载.[技术实现待验证]
其实目前方案是.因为IOS没有提供直接读取设备IMEI的api. 也就意味这无法保证唯一性.所以针对这个问题. 有一种折中解决方案. 用户在注册资格必须提供email地址.当内测版本发布成功后. 把下载二维码通过email方式发给用户,用户扫描成功后，提示用户输入注册内测资格email地址.如果这个email地址在内测资格内. 则可以自动下载ipa文件安装.如果不在则提示没有内测资格. 这个方案 不需要客户端做任何开发.只需要提供一个接口和一个内测资格管理后台即可.
待完成的工作:
A：官网内测入口.(或者每次内测发在官方引导用户入口也可行).
B：内测用户资格申请&后台审核&分组管理管理(有待商榷),审核后email通知.
C：内测版本包管理(区分平台).
D：内测版本包二维码生成&发后email通知.
具体需求可以根据上面流程在进一步细化.这里不做赘述.
4.内测反馈和数据量化
从原来内测WP平台经验来说内测反馈收集和分类，花费时间最多.我们现在发布内测版本后，因为客户端缺乏有效内测反馈界面衔接和引导,同时用户反馈问题的地方也是非常零散(微信&论坛&微博等)，导致每次版本发布后都需要手工分散到多个地方去收集，然后根据反馈问题数量和性质进行分类.耗费了很多时间.
内测反馈从内容上来分类主要分为两大块: 产品相关&测试bug. 改善方案:
反馈收集&分类流程(点击查看大图)[Via by chenkai]
内测反馈的两大块,涉及到产品相关细节和问题根据以往经验会非常多，用户可以选择在官方或者客户端内置反馈的页面，选择反馈内容分类，输入反馈内容.后台根据反馈过来数据进行筛选分类统计.并能按照内测报告的模板生成每个版本内测报告,定时通过email发送给相关人员.把反馈收集&分类进行自动化.同时后台能根据拿到的反馈内容进行分析，并形成数据量化结果.
产品可以根据内测报告，一定程度上评估开发成果和产品是否符合预期.
针对测试Bug.可以采用Umeng统计或者其他第三方平台. 开辟一个独立内测版本号，通过Umeng或者第三方统计平台拿到客户端出错的堆栈信息或日志来定位bug问题.
----------------------------原型设想----------------------------
用户可以通过客户端或者官方站点网页能够分类浏览特定版本的反馈内容. 如果遇到同样问题不需要重复的二次输入.只需要在页面Vote Up 点击即代表改用户也遇到同样的问题,为了防止反馈数据造假, 用户针对同一个反馈的问题只能Vote Up 一次. 并且该操作可撤销. 在Vote up 用户可以针对同一个问题追加描述,.有助于开发确认解决问题.
根据内测版本问题分类&用户Vote Up (点击查看大图)[Via by chenkai]
问题可以根据内测版本查看. 不同版本可以根据不同排序规则进行排序.默认是根据用户反馈问题Vote up 次数由高到底排序.
问题详细查看且可回复(点击查看大图)[Via by chenkai]
可以从问题分类页面点击查看问题详情, 因为即使相同问题，可能复现步骤出现问题情况都不同.所以产品&开发可以在用户问题描述回复.可以跟用户沟通具体的细节.如果该问题已经内测版本修复并测试通过,则可以关闭改反馈问题.
Ps：如上原型图和细节只是针对目前一些设想. 仅供参考.不作为最终解决方案. 待讨论.
5.内测延伸
昨天辉哥在群里提到新功能投票.这个完全可以在内测用户中加入. 而且内测用户也非常关心新加入功能和特性.
另外这些之外.可以针对每个内测版本在web页面设计一个反馈问题墙,或者是Bug墙. 根据用户反馈bug次数多少按照一定顺序排放.并且bug每个单子上会属上这个bug是哪个开发人照成或负责解决的.然后开发人员可以去解决完了之后可以自己去认领. 或者让开发人员自己跟用户沟通解决. 并且每期都可以出一个排行榜什么的. 也可以作为运营的点. 最关键是能够形成开发人员和内测用户之间互动.
内测说了这么多,除了工具提高效率之外.个人认为最重要还是和用户积极沟通，形成互动.认同产品自身的价值，并持续在用户鞭挞中身体力行追求卓越. 不然再好的工具也是枉然.
写在最后
上面写了很多,关于内测在WP平台上曾经花费了很多精力和心血去做这件事. 也收获了很多,其实更多无形东西是来自于用户的. 如今是看不到摸不着的，但体会依然深切.我在想要是那些曾经过去”狗血的经历“能留下点什么.给更多的后来人带来一些帮助.这也是令人欣慰一件事.
真切的希望我们内测能做的越来越好.
本篇博客谢绝任何形式转载，违者必究.特此声明. via by chenkai 2014年12月11日22:06:28
网友评论