利用robotframework实现大数据测试

最近，测试的系统准备重构，组内商量把系统所有的指标计算逻辑方法梳理出来，形成一份可统一指导开发和测试的文档，并会在后面新需求的补充和维护。鉴于这个前提，对于测试方面，分享一些个人的想法。
由于系统的数据量是数十亿计的，指标也是过百，如果把这份文档整理出来，感觉可以把系统的指标数据准确性校验做成自动化，做成内检测。目前，系统的转化率报表页面的指标已经确定下来并落实到文档了。所以，我对该页面的指标，简单写了一套接口数据自动化校验的测试脚本，欢迎大家提出宝贵的建议。

自动化测试框架目录结构： 自动化框架选型上，选择了Robot Framework(以下简称“RF”)作为这次自动化测试的核心底层框架，同时选择Python + RequestsLibrary第三方库和自己开发的测试库pylib 作为扩展测试库，给RF作为底层库调用。
分层如下：

1、case_test层，放测试用例的脚本，执行测试的入口。
2、data层，放数据文件，实现数据与代码分离。
3、pylib层，放用python开发的测试库，给RF调用。
4、rflib层，放RF的资源文件，可供所有测试用例脚本调用。
5、config层，放配置文件的（这个放在本地不上传git，就不放这目录下面了）。
流程：
1.自动化部署环境
1）开发insert_coversion_rate.py， update_testenv.py测试库；
2）编码RF的资源文件，利用关键字调用测试库里面的变量、函数或方法:
3）测试用例执行之前，先执行测试套件的Setup set_dbdata关键字(初始化 )：
删除数据库存储该页面数据的表—> 新建表并插入所需测试的数据—> RM后端容器,并从compose文件创建新容器。

*** Settings ***
[Ducumentation]RF资源文件
Variables   _config.py
Library  Collections
Library  RequestsLibrary
Library  DateTime
# 导入测试库，模块文件名和类名必须相同
Library     ../pylib/insert_coversion_rate.py           ${hostname}[0]   3   1   4   qa   ${OS}[0]
Library     ../pylib/update_testenv.py
Variables   ../pylib/update_testenv.py
*** Variables ***
${api_url_10}      http://${hostname}[0]:8800/proxy/***/api
${api_url_192}     http://${hostname}[1]:8800/proxy/***/api/

*** Keywords ***
Setup set_dbdata
    drop_collection
    log to console      ------------- delete conversion_rate done --------------
    #insert_mongo_one
    insert_mongo_random
    log to console      ------------- insert data in conversion_rate collection done --------------
    verification_ssh    ${cmd}      ${hostname}[0]
    log to console      ------------- update test_environment done -------------------

2.计算测试的预期值：
在insert_coversion_rate.py脚本里面，封装一个方法，从第一步上传到mongo的数据，再从mongo里取出来并按需求文档的计算逻辑进行运算，然后return 结果，提供接口给testcase调用。

    # 从mongo表取数据，按需求逻辑计算结果
    def calculate_value(self,date_id,os):
        result = self.tdb.conversion_rate.find_one({"date_id": str(date_id), "os": str(os)})
        print(result)
        login_stage_trend = str(round(result["14654"]["fin_result"] / result["14648"]["fin_result"], 4))
        conversion_rate_patch = str(round((result["14648"]["fin_result"] - result["14651"]["fin_result"]) / result["14648"]["fin_result"],4))
        conversion_rate_channel_login = str(round(
            (result["14651"]["fin_result"] - result["14652"]["fin_result"]) / result["14648"]["fin_result"], 4))
        conversion_rate_game_login = str(round(
            (result["14652"]["fin_result"] - result["14653"]["fin_result"]) / result["14648"]["fin_result"], 4))
        conversion_rate_enter_game = str(round(
            (result["14653"]["fin_result"] - result["14654"]["fin_result"]) / result["14648"]["fin_result"], 4))
        download_fail_patch = str((result["14663"]["fin_result"] / (result["14663"]["fin_result"] + result["14650"]["fin_result"])))
        download_fail_patch_list = str((result["14662"]["fin_result"] / (result["14662"]["fin_result"] + result["14649"]["fin_result"])))
        download_fail_server_list = str((result["14664"]["fin_result"] / (result["14664"]["fin_result"] + result["14651"]["fin_result"])))
        login_stage_ranking = login_stage_trend
        return {'trend':login_stage_trend,
                'rate_patch':conversion_rate_patch,
                'rate_channel_login':conversion_rate_channel_login,
                'rate_game_login':conversion_rate_game_login,
                'rate_enter_game':conversion_rate_enter_game,
                'fail_patch':download_fail_patch,
                'fail_patch_list':download_fail_patch_list,
                'fail_server_list':download_fail_server_list,
                'login_ranking':login_stage_ranking
        }

3.获取实际结果
利用RF的第三方库RequestsLibrary，获取系统前端接口返回的实际数据

*** Settings ***
Library     Collections
Library     RequestsLibrary
Library     DateTime
Variables   _config.py
Resource    ../rflib/_resource.robot
Library  ../pylib/insert_coversion_rate.py   ${hostname}[0]   3   1   4   qa   ${OS}[1]
#Suite Setup  Setup set_dbdata

*** Variables ***
${date_id}=             20190303
${os_now}=              android

*** Test Cases ***
login_stage_trend
    [Documentation]     登陆转化率数据校验
    #calculate value 调用计算预期值的方法
    ${result}           calculate value        ${date_id}               ${os_now}
    ${date_start}=      Get Current Date        increment=-24:00:00       result_format=epoch
    ${date_end}=        Get Current Date        result_format=epoch
    create session      get_bid         ${api_url_10}      ${hearders}         #调用资源文件的变量
    # 获取系统页面接口返回的实际结果
    ${resp}=            get request     get_bid        v3/conversion_rate_*****?_end=${date_end}&_start=${date_start}&os=all&public_place=all
    should be true      ${resp}         ${resp.status_code} == 200
    should contain      ${resp.text}    ${result}[trend]
    log     \nresult shoud contain:${result}[trend]\n${resp.text}

4.断言
先校验接口的返回码是否是200，如果接口报错，数据准确性的校验就没必要了；
然后，利用RF内置的关键字，should contain，判断预期值是否被包含在接口返回的数据里面；（其实，最好是用should be equal，可是RF层，接口返回的数据默认是字符串，还没想到怎么取里面具体的值，但目前should cotain 已经可以满足需求）

should be true      ${resp}         ${resp.status_code} == 200
should contain      ${resp.text}    ${result}[trend]

5.终端执行test_case过程，不符合预期值的测试结果：

符合预期值的测试结果：
6.输出测试report和测试log
测试完成输出测试报告和测试日志
Roport 文件
列出本次执行的总体统计信息，背景色为绿色代表测试全部pass，红色代表有测试用例fail的 Log文件
1）包含了本次执行的详细信息比如：总计多少个测试用例，多少个关键测试用例，执行通过了多少，失败了多少；
2）Log文件还有个强大的功能，自己开发RF的测试库给RF调用时，如果报错，可以用debug模式运行，可以打印很详细的报错信息到 log 里面。 总结：
以上，仅是接口数据准确性测试自动化的小试牛刀，当然自动化测试，有各种各样的方法，比如 python + requests + unittest + HTMLTestRunner，或者用Cucumber框架也可以，但弱水三千，只取一瓢。根据项目本身的情况和需求选择就可以了，知行合一嘛。