CAIL 2020-司法人工智能挑战赛(司法考试)

任务三：司法考试

1. 任务介绍

司法考试作为我国最难的考试，也是法律工作者生涯中极其重要的考试，其难度以及淘汰率都是有目共睹的。因此，本任务是针对司法考试的问答提出的任务。

具体来说，我们会提供司法考试的题面以及选项，选手的任务是输出最后的题目的答案。

我们允许选手使用任何外部资料作为知识来帮助模型，但是我们要求选手在预测过程中不能够进行联网的操作，

更多的详细信息以及下文提到的资源都可以参考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/sfks。

2. 数据介绍

本任务技术评测使用的训练集、验证集1来自于论文JEC-QA: A Legal-Domain Question Answering Dataset，包含大约26,000道司法考试的题目，均为选择题。数据的更多细节可以参考该篇论文。验证集2来自于由专业人士新出的司法考试题，最终测试集会使用2020年的司法考试作为测试集。

3. 评价方式

本任务采用准确率进行评估。

对于每个问题，需要给定这个题的答案，即A,B,C,D中的哪几项是正确的。当且仅当给定的答案与标准答案完全一致时才认为是正确的答案。

我们会额外给出选手模型在不同类型题目上的分数。

4. 基线系统

我们将提供两组基线模型，包括随机模型和BERT的分类模型。

5. 参赛方式

• 参赛对象 : 本次技术竞赛面向除开幂律智能科技有限公司的全社会开放，相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。

• 报名方式 : 竞赛网站将于2020年05月15日开放注册报名，登录网站主页即可报名，完善相关信息，即可报名参赛。

• 报名时间 : 2020年05月15日至2020年07月14日。（可能根据参赛队伍情况调整，具体时间请关注官方网站公告栏）

6. 赛程安排

• 第一阶段（2020.05.15-2020.07.14）:
  开启本任务比赛报名，发放CAIL2020-SFKS训练集，用于编写模型进行训练和测试。每周限提交3次，开放排行榜；

• 第二阶段（2020.07.15-2020.08.18）：
  开放第二阶段测试。对于高于任务预设基准算法成绩的队伍，我们将开放第二阶段的测试提交，第二阶段的最终成绩以各参赛队伍在第二阶段结束之前选择的三个模型中的在第二阶段测试集上的最高分数作为最终成绩。

• 第三阶段（2020.08.19-2020.09.15）:
  封闭评测，第二阶段结束时，所有参赛者需要选择三个在第二阶段提交成功的模型作为最终模型。同时，主办方将使用今年的司法考试题目作为新的测试集，对各参赛者的模型进行封闭评测，得到最终成绩，三个模型取最高值。
  挑战赛的最终成绩计算方式：最终成绩 = 第二阶段的成绩 * 0.3 + 第三阶段的成绩 * 0.7。

• 第四阶段（2020.09.15-2020.12.31）:
  公布最终成绩，并开展技术交流和颁奖活动。

7. 奖项设置

挑战赛将对司法考试任务评出一等奖1名，二等奖2名，三等奖4名。由主办方中国中文信息学会（CIPS）为获奖者提供荣誉证书认证；由北京幂律智能科技有限责任公司和中国司法大数据研究院为获奖者提供奖励和参会交流赞助。

• 一等奖 20000

• 二等奖 10000

• 三等奖 5000

• 说明：

  1. 以上所有提及金额均为税前金额。

  2. 获奖算法与系统的知识产权归参赛队伍所有，仅要求获奖团队提供算法与系统报告（包括方法说明、数据处理、参考文献和使用开源工具等信息）及团队成员名单，供颁奖会技术交流。

参考链接：
http://cail.cipsc.org.cn/instruction.html