字节实习一面nlp

45min

1. 问项目
2. nlp问题：

• rnn和基于transformer模型的各自优缺点
• transformer encoder和decoder的区别
• bert和gpt的区别
• layernorm 作用
• transformer里面block的残差连接有什么作用
  我回答了解决梯度消失，后面就问：
• 什么导致了梯度消失

3. 算法题：

撸了一个三个循环的暴力。。面试官让优化，优化不来了。。

4. 如果让你设计一个闲聊机器人，怎么设计。
   我讲了一下cdial的大概思路，从数据集开始做分析，分析utterance长度，文本长度，用一个gpt+role_embedding作为模型，最后用人工评测或者bleu、rouge这些指标去做个评价。

5. 提问题