任务二:司法摘要
1. 任务介绍
裁判文书是人民法院公开审判活动、裁判理由、裁判依据和裁判结果的重要载体。司法摘要则是对裁判文书的内容进行压缩、归纳和总结,反映案件审理过程中的裁判过程、事实、理由和判决依据等。裁判文书司法摘要对我国法治建设具有现实意义与必要性。
具体来说,我们会提供裁判文书的原文,选手的任务是输出对应的司法摘要文本。
我们允许选手使用任何外部资料作为知识来帮助模型,但是我们要求选手在预测过程中不能够进行联网的操作,
更多的详细信息以及下文提到的资源都可以参考https://github.com/china-ai-law-challenge/CAIL2020/tree/master/sfzy。
2. 数据介绍
本任务技术评测使用的训练集、验证集、测试集来自由北京司法大数据院提供并标注的法院裁判文书,包含大约10000
篇裁判文书以及对应的司法摘要,其中所涉及到的裁判文书均为民事一审判决书。
2. 评价方式
本任务采用ROUGE(Recall-Oriented Understudy for Gisting Evaluation)
评价评价。
ROUGE指标将自动生成的摘要与参考摘要进行比较, 其中ROUGE-1衡量unigram
匹配情况,ROUGE-2衡量bigram
匹配,ROUGE-L记录最长的公共子序列。
3. 基线系统
我们将提供BERT摘要基准模型。
4. 参赛方式
-
参赛对象 : 本次技术竞赛面向除开擎盾数据的全社会开放,相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。
-
报名方式 : 竞赛网站将于2020年05月15日开放注册报名,登录网站主页即可报名,完善相关信息,即可报名参赛。
-
报名时间 : 2020年05月15日至2020年07月14日。(可能根据参赛队伍情况调整,具体时间请关注官方网站公告栏)
5. 赛程安排
-
第一阶段
(2020.05.15-2020.07.14)
:
开启本任务比赛报名,发放CAIL2020-SFZY训练集,用于编写模型进行训练和测试。每周限提交3次,开放排行榜; -
第二阶段
(2020.07.15-2020.08.18)
:
开放第二阶段测试。对于高于任务预设基准算法成绩的队伍,我们将开放第二阶段的测试提交,第二阶段的最终成绩以各参赛队伍在第二阶段结束之前选择的三个模型中的在第二阶段测试集上的最高分数作为最终成绩。 -
第三阶段
(2020.08.19-2020.09.15)
:
封闭评测,第二阶段结束时,所有参赛者需要选择三个在第二阶段提交成功的模型作为最终模型。同时,主办方将使用今年的司法考试题目作为新的测试集,对各参赛者的模型进行封闭评测,得到最终成绩,三个模型取最高值。
挑战赛的最终成绩计算方式:最终成绩 = 第二阶段的成绩 * 0.3 + 第三阶段的成绩 * 0.7。 -
第四阶段
(2020.09.15-2020.12.31)
:
公布最终成绩,并开展技术交流和颁奖活动。
6. 奖项设置
挑战赛将对司法考试任务评出一等奖1
名,二等奖2
名,三等奖4
名。由主办方中国中文信息学会(CIPS)为获奖者提供荣誉证书认证;由擎盾数据和中国司法大数据研究院为获奖者提供奖励和参会交流赞助。
-
一等奖 15000
-
二等奖 7500
-
三等奖 5000
-
说明:
-
以上所有提及金额均为税前金额。
-
获奖算法与系统的知识产权归参赛队伍所有,仅要求获奖团队提供算法与系统报告(包括方法说明、数据处理、参考文献和使用开源工具等信息)及团队成员名单,供颁奖会技术交流。
-
网友评论