一、冯罗伊曼计算机架构
在该结构中,处理器从存储器中去除指令、解码,然后执行该命令.
对于下面的C程序
void test{
int array[100];
int i = 0;
for (i=0; i< 100; i++){
array[i] = i * 10;
}
}
处理器的实现流程:
- 数组array的地址倍装入某个内存访问寄存器;参数i被放入到另一个寄器.
- 循环推出条件为100, 这个退出条件既可以装入一个寄存器,也可以编码的方式,成为指令六的一个字面值
-
计算机重复执行这几条指令,循环100次.
上述过程中,我们需要取来并执行“控制指令”、“访存指令”, “计算指令”.
现代CPU缓存组成结构.png
现代CPU会使用更复杂的缓存结构来处理加速这个过程.
一级缓存大小16K或32K,工作速度也通常能达到或接近CPU的时钟速度,二级缓存通常约为256K,三级缓存大得多,通常几兆字节大小.
(计算机中，时钟速度（clock speed）指的是振荡器设置的处理器节拍，也就是由振荡器产生的每秒脉冲次数)
二、现代计算机
1、克雷
Cray2系统中,多CPU共享同一个内存空间,是一台基于响亮的计算机.在向量机中,一个操作同时处理多个操作数.诸如MMX、SSE和AVX这样的处理器扩展部分以及GPU设备,它们的核心都是向量处理器.
2、连接机(Connection Machine, CM)
例子:
我们处理一个RGB图像的颜色.问题是将蓝色值将为0.
假设内存不是交替地存储各个像素点的颜色值,而是被分成红、绿、蓝三条.在传统处理器中,会用一个循环来将蓝色内存条中每个像素值减1.这个操作对每个数据项都是相同的,即每次循环迭代,我们都要对指令流进行取址、译码、执行三个操作.
连接机采用的是单指令多数据(single Instruction, Multiple Data,SIMD)型并行处理.这种技术典型的有三种,如单指令多数据流扩展指令(Streaming SIMD Extension, SSE)、多媒体扩展(Multi-Media eXtension, MMX)以及高级矢量扩展(Advanced Vector eXtensions, AVX),被广泛应用于现代处理器中.
先定义好一个数据范围,然后让处理器在这个数据范围内进行某种操作.尽管SSE和MMX是基于一个处理器核的,但连接机却拥有64K个处理器核,每个核都在器数据集上执行SIMD指令.
3、Cell处理器
主要思想使用一个常规处理器作为监管处理器,该处理器与大量的高速流处理器相连.在Cell处理器中,常规的PowerPC(PPC)处理器担任与流处理器和外部世界的接口.而SIMD流处理器,IBM成为SPE,则为常规处理器的管理下,处理数据集.
系统运行的最快速度等于最慢节点的运行速度.
4、多点计算
计算领域中,经常能遇见“收益递减规律”(The law of disminishing returns).即便在单一方面投入再多,结果也没有太大改变.解决办法是在各个影响因素健选择一个平衡点,多次复制它.
这样就涉及到一个集群技术,如下图.
现代GPU的体系结构也完全相同.一个GPU内有许多流处理簇(Steaming Multiprocessor, SM),他们类似CPU的核.这些SM与共享存储(一级存储)连接在一起,然后由于相当于SM间互联开关的耳机缓存相连.数据先是存储在全局存储中,然后倍主机去除并使用.出留一部分自己处理外,主机将剩余的数据通过PCI-E互联开关直接送完另一个GPU的存储空间.PCI-E互联开关的传输速度比任何一个互联网络快许多倍.
(PCI Express是新一代的总线接口.早在2001年的春季，英特尔公司就提出了要用新一代的技术取代PCI总线和多种芯片的内部连接，并称之为第三代I/O总线技术.)
5、单核解决方案的消亡
现代处理器的问题之一是它们已经达到了4G Hz左右的时钟速度极限.目前而言,处理器在这个极限点上工作会产生太多的热量,从而需要特殊的、昂贵的冷却措施.产生热量的原因是随着时钟频率的提升,功耗增大.事实上,在电压不变的情况下,一个CPU的电力功耗大约是时钟频率的三次方.这种不断增加的无效的电能消耗,意味着你要么不能充分为处理器提供电力,要么不能够有效冷却处理器,已经达到电子设备或者芯片的散热极限,即所谓的功耗墙(power wall).
三、英伟达和CUDA
1、CUDA
英伟达的GPU,再从G200架构到费米型架构,浮点计算性能实现了每秒3千亿次(300 gigaflops)的飞跃.相比之下,英特尔公司从Core2架构升级到Nehalem架构仅有小幅的改进.传统CPU的目标实质性穿行代码.他们包含一些特殊硬件,例如,分支预测单元、多级缓存等,所有这些都是针对穿行代码的执行.但GPU只有完全按照并行模式运行时才能发挥它的峰值性能.
CUDA是C语言的一种扩展,它允许使用标准C来进行GPU代码变成.这个代码即适用于主机处理器(CPU),也适用于设备处理器(GPU).主机处理器负责派生出执行在GPU设备处理器上的多线程任务(CUDA称器为内核程序).GPU舍友内部调度器来把这些内核程序分配到相应的GPU硬件上.假设这些任务有足够的并行度,随着GPU中流处理器簇数量的增加,程序运算速度就会提升.
因此,使用GPU有一个初始条件,我们必须从一开始就考虑是否能够把大量的工作并行化.
随着CUDA一起引入的,还有Tesla系列板卡,这些并不是图形卡,而是专用于科学计算的计算卡.
2、CUDA的替代选择
OpenCL是一个开放的、免版税的标准,有英伟达、AMD和其他厂商所支持.OpenCL的商标持有者是苹果公司,它制定出一个允许使用多种计算设备的开放标准.
DirectCompute是微软开发的可替代CUDA和OpenCL的产品.它是集成在Windows操作系统,特别是DirectX 11 API上的专用产品.
3、CPU的替代选择
主要的并行程序设计扩展语言有MPI和OpenMP,在Linux下开发时,还有Pthreads.
Windows操作系统下有Windows线程模型和OpenMP.
MPI(Message Passing Interface)可能是目前使用最广泛的消息传递接口.
OpenMP(Open Multi-Processing)是专门面向单个节点或单个计算机系统而设计的并行计算平台.在使用OpenMP时,程序员需要利用编译器指令精确写出并行运算指令.然后编译器更具可用的处理器核数,自动将问题氛围N部分.
pthreads是一个主要应用于Linux的多线程应用程序库.
另外还有ZeroMQ(0MQ), Hadoop
4、编译指令和库
很多编译器厂商,如PGI、CAPS以及著名的Cray,都支持最近发布的针对GPU的OpenACC编译器指令集.在本质上,这些都是OpenMP的复制.他们都需要程序员在程序中插入编译器指令标注出“应该在GPU上执行”的代码区域.然后编译器就做些简单的工作,即从GPU上移入或移出数据、调用内核程序等.
