杂记

并行计算之OpenMP入门简介

对基于数据分集的多线程程序设计，OpenMP是一个很好的选择。同时，使用OpenMP也提供了更强的灵活性，可以较容易的适应不同的并行系统配置。线程粒度和负载平衡等是传统多线程程序设计中的难题，但在OpenMp中，OpenMp库从程序员手中接管了部分这两方面的工作。但是，作为高层抽象，OpenMp并不适合需要复杂的线程间同步和互斥的场合。
OpenMp的另一个缺点是不能在非共享内存系统（如计算机集群）上使用，一般在这样的系统上，MPI使用较多。
在Visual Studio中使用OpenMP其实很简单，只要将 Project 的Properties中C/C++里Language的OpenMP Support开启（参数为 /openmp），就可以让VC++在编译时就可以支持OpenMP 的语法了。而在编写使用OpenMP 的程序时，添加#include <omp.h>即可。下面是一个实例：

并行计算复习————第二篇 并行计算理论基础：并行算法设计

PRAM（Parallel Random Access Machine）并行随机存取机器，是一种抽象并行计算模型，它假设：
3.BSP模型（MIMD-DM）
BSP（Bulk Synchronous Parallel）大同步并行机（APRAM算作轻量）是一个分布式存储的MIMD模型，它的计算由若干全局同步分开的、周期为L的超级步组成，各超级步中处理器做LM操作并通过选路器接收和发送消息；然后做一次全局检查，以确定该超级步是否已经完成（块内异步并行，块间显式同步）
参数：处理器数p、选路器吞吐率g、全局同步间隔L、一个超级步中一个处理器至多发送或接收h条消息
4.LogP模型：MIMD-DM，点到点通讯
LogP模型是分布式存储、点到点通信的MIMD模型
LogP采取隐式同步，而不显式同步障
Ch6 并行算法基本设计策略
6.1 串改并
6.2 全新设计
6.2 借用法
Ch7 并行算法常用设计技术
6.1 划分设计技术

程序中的时间复杂度是怎么计算的？

一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。
计算方法

1. 一般情况下，算法的基本操作重复执行的次数是模块n的某一个函数f（n），因此，算法的时间复杂度记做：T（n）=O（f（n））
   分析：随着模块n的增大，算法执行的时间的增长率和f（n）的增长率成正比，所以f（n）越小，算法的时间复杂度越低，算法的效率越高。
2. 在计算时间复杂度的时候，先找出算法的基本操作，然后根据相应的各语句确定它的执行次数，再找出T（n）的同数量级（它的同数量级有以下：1，Log2n ，n ，nLog2n ，n的平方，n的三次方，2的n次方，n！），找出后，f（n）=该数量级，若T(n)/f(n)求极限可得到一常数c，则时间复杂度T（n）=O（f（n））
   例：算法：

for（i=1;i<=n;++i）
{
  for(j=1;j<=n;++j)
  {
   c[ i ][ j ]=0; //该步骤属于基本操作 ，执行次数：n的平方 次
  for(k=1;k<=n;++k){
   c[ i ][ j ]+=a[ i ][ k ]*b[ k ][ j ]; //该步骤属于基本操作 ，执行次数：n的三次方 次
  }
}

则有 T（n）= n的平方+n的三次方，根据上面括号里的同数量级，我们可以确定 n的三次方 为T（n）的同数量级
则有f（n）= n的三次方，然后根据T（n）/f（n）求极限可得到常数c
则该算法的 时间复杂度：T（n）=O（n^3） 注：n^3即是n的3次方。
2.1. 分类
按数量级递增排列，常见的时间复杂度有：
常数阶O(1),对数阶O(log2n),线性阶O(n),
线性对数阶O(nlog2n),平方阶O(n^{2)，立方阶O(n}3),...，
k次方阶O(n^k), 指数阶O(2^n) 。随着问题规模n的不断增大，上述时间复杂度不断增大，算法的执行效率越低。
关于对其的理解[《数据结构（C语言版）》]------[严蔚敏][吴伟民]编著 第15页有句话"整个算法的执行时间与基本操作重复执行的次数成正比。"基本操作重复执行的次数是问题规模n的某个函数f(n)，于是算法的时间量度可以记为：T(n) = O( f(n) )如果按照这么推断，T(n)应该表示的是算法的时间量度，也就是算法执行的时间。而该页对“语句频度”也有定义：指的是该语句重复执行的次数。如果是基本操作所在语句重复执行的次数，那么就该是f(n)。上边的n都表示的问题规模。
一般来说，时间复杂度是总运算次数表达式中受n的变化影响最大的那一项(不含系数)
比如：一般总运算次数表达式类似于这样：
a2^n+bn^3+c*n2+dnlg(n)+en+f
a<>0时，时间复杂度就是O(2^n);
a=0,b<>0 =>O(n^3);
a,b=0,c<>0 =>O(n^2)依此类推
那么，总运算次数又是如何计算出的呢？一般来说，我们经常使用for循环，就像刚才五个题，我们就以它们为例1.循环了nn次，当然是O(n^{2)2.循环了(n+n-1+n-2+...+1)≈(n}2)/2，因为时间复杂度是不考虑系数的，所以也是O(n^{2)3.循环了(1+2+3+...+n)≈(n}2)/2,当然也是O(n^{2)4.循环了n-1≈n次，所以是O(n)5.循环了(1}2+2²⁺³2+...+n^{2)=n(n+1)(2n+1)/6(这个公式要记住哦)≈(n}3)/3，不考虑系数，自然是O(n^3)另外，在时间复杂度中，log(2,n)(以2为底)与lg(n)(以10为底)是等价的，因为对数换底公式：log(a,b)=log(c,b)/log(c,a)所以，log(2,n)=log(2,10)*lg(n),忽略掉系数，二者当然是等价的