本年 8 月,集成 1.2 万亿个晶体管的“史上最大芯片”The Cerebras Wafer Scale Engine(以下简称 WSE)诞生,在 11 月 19 日举行的 Supercomputing 2019 大会上,该芯片制作公司 Cerebras Systems 推出了搭载该芯片的核算机体系————Cerebras CS-1,这也将是世界上最强壮的 AI 核算体系。美国两家国家实验室是该公司的客户,其间,阿贡国家实验室已成功布置并宣告,将用这套体系来发现癌症疗法和了解黑洞磕碰。
图 | Cerebras CS-1(来历:Cerebras Systems)
CS-1 搭载的并不是一个芯片,而是一整个晶圆。一般,硅芯片是从 8、10 或 12 英寸等不同规范的晶圆上独自切下来的。而 Cerebras 把晶圆切割成一个很大的长方形,每个芯片都相互衔接,可以使每个晶体管都能像全体相同高速工作。一个典型处理器可能在一个芯片上有 100 亿个晶体管,而 CS-1 搭载的整个晶片上一切核的晶体管总数超越 1.2 万亿个。
在 AI 核算中,芯片尺寸至关重要,可是高档处理器有必要要有专用的硬件和软件体系相配合才干完结理想的功能。Cerebras 公司 CEO Andrew Feldman 在承受媒体采访时说:“你无法将法拉利发动机放入大众汽车中来获得法拉利功能。假如你想获得 1,000 倍的功能提高,你要做的便是消除瓶颈。”CS-1 体系规划和 Cerebras 软件渠道相结合,可以充沛用到从 WSE 上的 40 多万个核算内核和 18 GB 高功能片上存储器中提取的每一点的处理才干。
GIF 图 | Cerebras 晶片规划的引擎(来历:Cerebras Systems)
与 GPU 集群需求耗费数十个机架而且需求专有的 InfiniBand 进行集群不同,CS-1 不需求很多修正现有模型,而且用户只需将根据规范的 100Gb 以太网链路刺进交换机就可以发动练习模型。
CS-1 有 15 个机架,大概是 26 英寸高(66.04 厘米)。Andrew Feldman 表明,CS-1 是“最快的 AI 核算机”。CS-1 核算机的机器学习才干相当于数百架根据 GPU 的核算机才干,这些核算会耗费数百千瓦。但 CS-1 仅耗费 17 千瓦,占规范机架能耗的三分之一。他把 CS-1 和谷歌的 TPU 核算集群比较,着重谷歌的 TPU2 机器学习集群需求 10 个机架和超越 100 千瓦的功耗,才干供给一个 CS-1 机箱三分之一的功能。
Feldman 说:“咱们是由 40 万个专用 AI 处理器组成的 AI 机器。”CS-1 由 40 万核、1 万亿晶体管巨细的处理器芯片驱动,可以将本来需求至少几周的大型神经网络练习任务缩短到几分钟乃至几秒钟。可是,Cerebras 并没有供给用规范 AI 基准(如新的 MLPerf 规范)衡量功能的数据。相反,它经过让潜在客户在 Cerebras 的机器上练习他们自己的神经网络模型来招引潜在客户。
别的,Cerebras 还发布了一些体系软件的细节,该软件答应用户运用 Pytorch 和 Tensorflow 之类的 ML 规范结构来编写他们的机器学习模型。强壮的图形编译器可主动将这些模型转换为 CS-1 的优化可履行文件,而丰厚的东西集可完结直观的模型调试和功能剖析。
图 | Cerebras 软件体系答应用户运用 Pytorch 和 Tensorflow 之类的 ML 规范结构来编写他们的机器学习模型(来历:Cerebras Systems)
这是怎么完结的呢?经过处理一个优化问题,保证一切层以大致相同的速度完结它们的任务处理,且与相邻层是接连的。这样信息就能轻松完结在网络中四通八达。该软件可以在多台核算机上履行这个优化问题,假如把 32 个 CS-1 衔接在一起,那么这一组核算机所构成的大型核算机的功能能大大的提高约 32 倍。
Feldman 说:“GPU 集群无法完结相同的作用,你得到的不是一个大型核算机的算力,仍然是一堆小机器所能完结的算力。”他以为 CS-1 和 GPU 集群形成了明显的比照。
CS-1 的第一个应用是猜测癌症药物反响,这是美国能源部和美国国家癌症研讨所协作的一个项目。能源部担任人工智能与技能的副部长 Dimitri Kusnezov 在一份声明中说:“在能源部,咱们信任公私协作是加快美国人工智能研讨的重要组成部分。”“咱们等待与 Cerebras 树立长时刻而富有成效的协作伙伴关系,这将有助于界说下一代人工智能技能,并改动能源部的运作、事务和任务。”或许这也是 Feldman 能筹措到数亿美元并招聘很多职工的原因。
图 | 阿贡实验室(Argonne National Laboratory)
阿贡实验室与 Cerebras 的协作已经有两年了。其核算总监 Rick Stevens 在新闻发布会上表明:“经过布置 CS-1,咱们大大缩短了神经网络的练习时刻,使咱们的研讨人员可以更高效地展开深度学习研讨,在癌症、创伤性脑损伤以及当今和未来对社会有重要意义的其他范畴获得重大进展。”
阿贡实验室是全球最大的超级核算机站点之一,而 CS-1 可以使这个站点比现有的 AI 加快器得到 100 到 1000 倍的提高,有望在 2021 年完结 Aurora 百万兆级超算的才干。一台百万兆级的核算机一会儿进行的核算量,相当于地球上的一切人每天每秒都不停地核算四年。
除了用在研讨抗癌药物之外,该体系还将被用来协助了解黑洞磕碰行为及其引力波。此前做过相似研讨的 Theta 超级核算机,在研讨黑洞磕碰问题时需求调集超算所装备的 4392 个节点中的 1024 个节点,每个节点包含了一个 64 核处理器和 16 GB 的高带宽封装内存(MCDRAM),192 GB 的 DDR4 RAM 和 128 GB 的 SSD。
Cerebras 的另一个客户劳伦斯·利弗莫尔国家实验室也来头不小,具有世界排名第三的 Sequoia 超级核算机。CS-1 也有望进一步增强其模拟核算才干。
-End-
参阅:
https://spectrum.ieee.org/tech-talk/computing/hardware/cerebras-unveils-ai-supercomputer-argonne-national-lab-first-installation
https://venturebeat.com/2019/11/19/cerebras-systems-deploys-the-worlds-fastest-ai-computer-at-argonne-national-lab/