美文网首页
This tokenizer cannot be instant

This tokenizer cannot be instant

作者: 雪糕遇上夏天 | 来源:发表于2021-08-28 22:26 被阅读0次

    最近在尝试用transformers做英汉翻译,用的是opus-mt-en-zh。本来代码已经写好了,但是在另一台代脑上run的时候出现了如下错误:

    ValueError: This tokenizer cannot be instantiated. Please make sure you have `sentencepiece` installed in 
    order to use this tokenizer.
    

    遇到这个问题,很明显要检查 sentencepiece 是不是已经安装了,开始我以为安装transformers的时候会自动安装这个包,然而在我重装了transformers之后这个问题并没有解决,最后手动安装了这个包

    pip install sentencepiece
    

    最终解决。

    相关文章

      网友评论

          本文标题:This tokenizer cannot be instant

          本文链接:https://www.haomeiwen.com/subject/pkmiiltx.html