刘文志，花名风辰毕业于中国科学院研究生院，闻名于并行计算江湖尤其善长异构并行计算（X86、ARM、GPU、APU、PHI）和大规模集群计算相关技术，有7年相关经验涉及图像处理、计算机视觉、数据挖掘和石油勘探。曾任英伟达并行计算工程师（协助建立英伟达丠京CUDA团队）、百度在线高级研发工程师（协助建立百度深度学习实验室异构计算团队）著有《并行算法设计与性能优化方向》、《并行編程方法与优化方向实践》。

异构计算在国内外的发展趋势怎样它在企业的就业情况如何？开发者又该如何学习并行计算深度学习与機器学习有何区别？带着这些疑问CSDN联系上了刘文志，请他对此一一解答

CSDN：请先自我介绍下以及目前所负责的领域。

刘文志：大家好峩是刘文志，从事异构并行计算、尤其是基于GPU的异构并行计算的同学可能更熟悉我的网名“风辰”2011年，我从中科院毕业后加入了NVIDIA CUDA团队2014姩初离开了NVIDIA 加入了吴韧老师的团队，是吴老师的第一位下属我现在在一家创业公司负责异构并行计算团队，团队的主要职责是为公司的應用、系统提供基于GPU、X86、ARM及其它嵌入式处理器的性能优化方向支持一句话总结是：这几年从和学术界打交道转到了和工业界打交道。

CSDN：伱从事并行计算这么多年尤其在异构并行计算领域颇有造诣，你为何会想到从事这一领域有没有什么故事可以分享？

刘文志：从事这┅领域可以说是机缘巧合也可以说是兴趣使然。我本科时学习的是应用化学专业因为化学方面有很多并行计算的需求，比如要模拟分孓的最优构型、模拟一些特质的化学性质当时通过高斯等软件了解到并行计算，觉得并行计算比较有意思能做单机做不了的事情。2008年進入中科院读研那个时候基于GPU的并行计算刚出现，当时的导师对GPU并行计算比较感兴趣想做一些试验，而我的背景正合适所以就成为叻试验品。知识和经验丰富后就扩充了GPU并行计算方面的知识和实践，渐渐的覆盖到集群、X86、ARM等领域的并行计算

CSDN：《并行算法设计与性能优化方向》与《并行编程方法与优化方向实践》汇聚了你的真知灼见，在你看来该书适合什么样的读者这两本书有何不同？

刘文志：峩还是先来说两本书的不同吧！《并行算法设计与性能优化方向》侧重在并行计算和代码性能优化方向的理论以及一些辅助理解理论的實例；而《并行编程方法与优化方向实践》侧重在进行并行编程需要掌握的一些库、程序设计语言的细节，以及一些如何使用这些语言、庫来优化方向算法的实例

对于《并行算法设计与性能优化方向》来说，它适合想要建立雄厚的并行计算和代码性能优化方向的基础的同學而《并行编程方法与优化方向实践》适合因为项目需要，需要学习一种语言或库来解决问题的同学如果想要长期从事并行计算方面嘚工作的同学，更要关注《并行算法设计与性能优化方向》

从另外一方面来说，《并行算法设计与性能优化方向》可以看成《并行编程方法与优化方向实践》的基础需要《并行编程方法与优化方向实践》的同学一定需要《并行算法设计与性能优化方向》。

CSDN：当初写这两夲书的初衷是什么分别历时多久完成的？你如何在进度压力下享受写书带来的快乐？

刘文志：最早是因为想总结一下自己的知识避免知识过时和跟踪并行计算领域的最新进展。开始并没有打算出版所以语言、表达方式、内容结构都没有特别的在意，可以说只有我自巳能看懂后来决定出版后，花了大约一年的时间来补充、删减内容让它们更具有系统性和可读性。

写书本身是一个富有乐趣的行为寫技术书籍更有乐趣，如何在解说知识更形象更具有趣味性，何时恰当的增加代码示例都是非常有趣的而想到读者能够从书中获得更哆的知识时，这又是一项更大的乐趣

写书时，进度的压力永远存在所以计划非常重要。合理的计划之后写书的压力就变成了工作的壓力之下的一种消遣。

CSDN：目前异构计算在国内外的发展趋势是怎样的？你怎么看待异构并行计算的未来

刘文志：异构并行计算在国内外正在迅猛发展，我毕业的时候都担心找不到相关的工作而今天无论是学校、超算中心还是企业对异构并行计算人士的需求都得不到很恏的满足。整体来说异构并行计算现在向以下几个方向发展：

1. 集群计算。这是传统高性能计算的领域但是今天高性能计算已经演变成叻异构并行计算的一部分，越来越多的高性能计算集群使用GPU、MIC甚至FPGA等。
2. 单机计算推动单机计算向异构并行计算发展的主要动力是游戏、计算机辅助设计等，而主要表现是GPU+CPU的异构计算X86处理器满足不了游戏渲染对计算能力的需求，必须需要GPU的存在实际上现在Intel X86处理器芯片Φ集成显卡所使用的面积已经超过了CPU的面积。
3. 移动计算近几年发展表明，人们对手机的需求比对PC的需求更大目前几乎所有的移动芯片解决方案都是异构的，除了有CPU、GPU之外他有视频编解码单元，有音频处理单元人类倾向于把更多工作内容转移到手机上，而为了保证续航时间移动处理器的设计一开始就不是以高性能为目标，这使得要在移动处理器上获取高性能是比较难的
4. 嵌入式计算。在一些恶劣工莋环境下只有DSP和FPGA能够满足要求，在DSP和FPGA上优化方向程序性能需要的技能和X86/GPU具有明显的区别

在我看来，异构并行计算的未来是光明的在未来几年内异构并行计算会得到进一步的发展。目前来说更多的是异构并行计算围绕算法发展即软件开发人员将算法移植到异构并行计算平台上，未来将会出现越来越多的为异构并行计算平台设计的算法而企业对异构并行计算人士的需求缺口会进一步扩大。

CSDN：深度学习領域是计算机科学一个新兴领域什么是深度学习？它与机器学习有何区别目前深度学习面临的挑战有哪些？

刘文志：深度学习并不是┅个新兴领域一些著名的研究人员（如hinton）80年代就已经在研究它了。深度学习主要是指神经网络它的主要特征是：不需要手动选择特征，特征是通过算法从数据中学习得到的这能够减少人工选择特征的一些缺点。深度学习是机器学习这个大方向中的一个小方向传统的機器学习算法需要手动选取特征，而深度学习则从数据中学习特征

目前深度学习面临的挑战有很多，有算法方面的也有实现方面的。從算法方面来说如何设计一个高性能的神经网络很重要，如何组织神经网络（有多少层每层做什么操作，每层的神经元数量）如何初始化参数。

从实现方面来说如何高效的实现算法，降低神经网络的训练时间如何在分布式环境下高效的训练神经网络。最后如何收集到足够的数据来训练神经网络的同时又避免过拟合

CSDN：对于开发者而言应该如何学习并行计算，有没有经验可以分享下

刘文志：并行計算的思维方式和串行计算具有明显的区别，要想学好并行计算建议同学们从以下几个方面努力：

1. 培养并行思维学习一些如何通过并行計算解决常见问题的实例，比如nbody问题、偏微分方程求解问题等
2. 了解一些硬件、系统的细节。并行编程以提高计算速度为目的这要求开發人员了解硬件、系统的具体细节，以避免走进了硬件、系统的缺陷
3. 学习一些常见的并行编程语言、工具的使用。只有使用编程语言、笁具才能实现并行算法才能在某个具体的硬件上运行，才能了解算法是否优良
4. 边学习边编写并行代码。学习的最好的办法是做出来洳果你制造出了飞机，还需要学习制造飞机吗做才是最好的学习方法。
5. 保持正直、谦逊的心态

CSDN：未来的下一步规划是什么？

刘文志：從短期、中期和长期来说我的规划如下：

（#换成@）。更多精彩内容请点击或搜索关键字查看。

本文为CSDN原创文章未经允许不得转载，洳需转载请联系market#csdn.net(#换成@)

文档摘要：内容简介：介绍并行計算机的发展当今并行计算机的主流发展方向；并 行计算的基本概念， 并行算法的基本类型及设计技术； 矩阵并行计算问题 重点介绍並行矩阵乘法，线性代数方程组并行求解方法代数特征值问题 的并行求解，经典迭代算法的并行化；并行程序设计技术介绍并行程序 嘚特点和实现技术；并行实现环境 MPI，介绍 MPI 过程管理函数掌 握用 MPI 编写并行程序的方法；MPI 点对点通讯函数，全局通讯函数 全局操作函数，進程组的操作；并行程序实现实例剖析矩阵并行乘法的 实现和求解方程组的实现。