了解如何使用 RAPIDS、HuggingFace 和 Dask 实现高性能 NLP。了解如何在 GPU 上以快速且可扩展的方式构建端到端 NLP 管道。这包括特征工程、深度学习推理和推理后处理。

介绍

现代自然语言处理 (NLP) 混合了建模、特征工程和一般文本处理。深度学习 NLP 模型可以为命名实体识别 (NER)、情感分类和文本摘要等任务提供出色的性能。但是，具有这些模型的端到端工作流管道通常在大规模性能方面遇到困难，尤其是当管道涉及大量的推理前和推理后处理时。

在我们之前的博文中，我们介绍了RAPIDS如何加速字符串处理和特征工程。这篇文章解释了如何利用RAPIDS进行特征工程和字符串处理，利用 HuggingFace进行深度学习推理，以及如何利用Dask 横向扩展以在 GPU 上实现端到端加速。

NLP 流水线通常包括以下步骤：

• 预处理
• Tokenization
• Inference
• Post Inference Processing