transformers库学习

1. 长文本滑窗处理

In [285]: from transformers import BertTokenizerFast

In [286]: tokenizer = BertTokenizerFast.from_pretrained(model_path)

In [287]: q = '胆结石要手术治疗吗'
In [288]: context = "治疗胆囊结石，手术切除最可靠目前，治疗胆囊结石的主流治疗方法有胆囊切除术，其他方法还有保胆取石术、
     ...: 口服药物溶石、碎石治疗4种。其中，口服药物溶石和体外超声波碎石排石因疗效不能令人满意，已经被淘汰。手术成为治疗
     ...: 胆结石最安全有效的方法。"

In [289]: tokenized_examples = tokenizer(
     ...:             q,
     ...:             context,
     ...:             stride=40,  # 每次滑窗需要重叠的数量
     ...:             max_length=64,
     ...:             truncation='only_second',
     ...:             return_overflowing_tokens=True,
     ...:             return_offsets_mapping=True,
     ...:             padding="max_length"
     ...:         )

In [290]: for i in tokenized_examples['input_ids']:
     ...:     print(tokenizer.decode(i))
     ...:
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 治 疗 胆 囊 结 石 ， 手 术 切 除 最 可 靠 目 前 ， 治 疗 胆 囊 结 石 的 主 流 治 疗 方 法 有 胆 囊 切 除 术 ， 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 可 靠 目 前 ， 治 疗 胆 囊 结 石 的 主 流 治 疗 方 法 有 胆 囊 切 除 术 ， 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 主 流 治 疗 方 法 有 胆 囊 切 除 术 ， 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 中 ， 口 服 药 物 溶 石 和 体 外 超 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] ， 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。  其 中 ， 口 服 药 物 溶 石 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能 令 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 中 ， 口 服 药 物 溶 石 和 体 外  超 声 波 碎 石 排 石 因 疗 效 不 能 令 人 满 意 ， 已 经 被 淘 汰 。 手 术 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 4 种 。 其 中 ， 口 服 药 物 溶 石 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能  令 人 满 意 ， 已 经 被 淘 汰 。 手 术 成 为 治 疗 胆 结 石 最 安 全 有 效 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能 令 人 满 意 ， 已 经 被 淘 汰 。 手 术 成 为 治 疗 胆 结 石 最 安 全 有 效 的 方 法 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]