作者:Limber Cheng
因为实习的原因,写了一点关于并行计算的东西,当然用的是CUDA。
今天想说说自己对并行计算的一点浅显认识
以前一直以为,并行计算嘛,就是fork出进程然后各干各的,最后汇总下结果。也就是计算中的if的同步进行,这一点在我的Variational Inference(变分推理)中用起来简直是不要太美好。
VI比蒙特卡洛瞎猜(用大量的模拟实验强行逼出某个分布律,因为过于暴力被我吐槽为蒙特卡洛瞎猜)好很多。而也就是VI,与并行计算配合起来出现了1+1大于2,甚至大于100、1000的情况。VI的核心是通过一组分布关系,有的时候结合KL Divergence(一种能判定差异性的工具吧?比如判定人和人的差异与人和狗的差异。)来进行辅助。
大概可以这样理解(比喻略有出入),假如在识别物体这个任务上(通过相机进行图片识别),首先并行运算的一开始我们就将某集合与某集合(比如相机范围内出现人与木桩子与狗),一波的浪操作把数据弄到我这儿来。嗯很好,然后我用并行操作进行操作,这一打数据怼进去,那么这个时候,我可以同时进行人与木桩子比,木桩子与狗比,狗与人比的比较过程。如果真的只是fork出来然后各干各,可能也就是以前速度的1/3罢了。但是问题是不是这样子的!打个比方就是人与狗比较的一开始的时候(你可以理解为人与狗比较的过程有很多步骤),有一种感觉,嗯,这个玩意很像人。然后嗖的一下去了别的小伙伴那边说——弟兄们,我觉得是人的几率比较大。然后这个时候,对比狗与木桩子的任务的小伙伴表示,啥玩意儿?去你妈的那我做个卵啊?然后就去帮人与木桩子、狗与人的比较了。这样的话,资源运用的效率是不是会提升更多?
确实,实际中并行计算往往并非是完全独立的。相反,各个进程之间往往需要各种同步和交流机制。这在一定程度上对编程能力提出了巨大挑战。一方面需要对任务进行分块,另一方面需要自己控制好同步和交流的节奏(弄不好就出现计算结果飘忽不定的情况)。也就是说,原来在串行程序中根本不会出现的资源读写问题,到了并行程序里可能就会成为大问题。许多事情都需要自己手动控制好,就算再有耐心的程序猿看到了也会有些抓狂。只能寄希望以后某一天编译器可以变得足够智能,把苦逼的程序猿解放出来。另外不得不说,
这一点pycuda的封装做得很好,反正我觉得很好用,并且我比较喜欢Python,只是我没比较过性能上的差异。为了写项目啊,我不得不重拾很久都没碰过的c语言。嗯,指针真是个好东西,有时候真是无比怀念啊......不过,数组越界的问题,完全靠自觉了......唉,凡事都是有得有失。不过我觉得自己应该不会再用c来并行计算了,如果可以,我还是更愿意用一些高层的语言来写,尽管性能上可能会有些损失,但是,相比调试上所花的时间精力来说,值了。
关于这篇文章:
“这篇文章由我一位目前在英伟达实习的同学撰写,我现在代其将这篇文章整理后发布在这里,著作权归原作者所有。”
网友评论