随便记录下观察结果(也不一定对)
如果tensorflow和pytorch 同时初始化在一个GPU中,会导致tensorflow变慢
但是让tensorflow先初始化,问题可能会得到改善
都知道tensorflow如果不限制,会把显存吃满,导致其他框架的模型无法初始化。有个比较奇特的一点,对每一个模型限制内存后 ,两个相同参数量tensorflow模型都初始化完毕后显存占用却和一个差不多,看起来是相同计算框架下面可以共存部分。但是如果不限制,会直接初始化失败,就不能共存。
如果有相关研究比较深入的,望讲解一下,谢谢
网友评论