简述GPU，CUDA，cuDNN，CUDA Toolkit之间的

GPU：显卡，有很多核，擅长并行计算。
CUDA （Compute Unified Device Architecture）：按照官方说法就是——并行计算平台和编程模型，能够使得使用GPU进行通用计算变得简单和优雅。
cuDNN：专为深度学习设计的软件库。
CUDA Toolkit：包括以下几个部分：
Compiler（编译器），Tools，Libraries，CUDA Samples，CUDA Driver
（如果只是在gpu上跑深度学习代码的话，可以单独下载CUDA driver）