Li Y, Ma S, Zhou Q, et al. Learning from the Dictionary: Heterogeneous Knowledge Guided Fine-tuning for Chinese Spell Checking[C]//Findings of the Association for Computational Linguistics: EMNLP 2022. 2022: 238-249.
模型浅析
本文从知识库的角度出发构建了三种不同类型(音近,形近,以及定义)的对比类型,从loss的角度而言,还是使用了现有的InfoNCE的思想。因此,较为重要的思想是如何构造对应样本的正负例对。对于给定知识库而言,如何从知识库中选取到需要的正负例样本是关键。
主打一个看不懂。。还是需要断点看每行代码的输出。。
网友评论