Habana Labs:AI训练处理器如何炼成?

以色列AI处理器开发商Habana Labs上周宣布推出人工智能处理器Habana?高迪,致力于机器学习培训(推理)任务。埃坦?该公司首席商务官麦地那称,高迪“业界最高性能”基于高迪的培训系统,其处理能力几乎是同等数量GPU系统的四倍。

1565104677607580193.png

Habana Labs成立于2016年,总部位于以色列特拉维夫。据官方统计,该公司专注于使用人工智能来提高芯片处理性能,同时降低芯片成本和功耗。其产品主要用于AI预测和培训。 2018年11月,在英特尔风险投资基金英特尔投资基金的领导下,该公司完成了7500万美元的B系列融资,迄今已募集资金约1.2亿美元。

通常,AI计算大致分为两个级别。首先是训练模型(训练);然后训练有素的模型响应实际请求并做出推论。

去年,Habana Labs推出了其首款产品Goya推理处理器,主要用于AI推理和预测。今年的第二个产品Gaudi主要用于AI培训。也就是说,在这一点上,Habana已经在AI芯片的训练和推理的两端形成了完整的产品线。

在AI处理器的培训方面,Invidia的GPU(图形处理器单元)占主导地位(大多数推理任务仍由英特尔CPU承担),高迪的外观据说是“高迪产品”本英达GPU“。实际上,这不是一个空洞的故事。在现场,Eitan Medina说:“成为AI芯片行业的领导者”,其底线是Goya和Gaudi。

“AI处理器的性能包括两点,即计算和延迟。” Eitan Medina认为,用于通用计算的GPU和CPU在应用于AI计算处理时在架构上本质上是不够的。因此,从性能的角度来看,为AI需求设计的特殊芯片架构具有优势。

Habana自然会考虑到这一点。根据Eitan Medina的说法,公司工程师从最早和最基本的层面设计了芯片架构,特别是针对AI要求。其团队成员还来自处理器,DSP,系统设计和网络设计领域的世界知名企业精英。他们可以支持Habana从软件到硬件的研发需求。

例如,Goya,Habana设计了一种称为“Tensor处理器核心”的独特架构(相当于张量处理核心)。它还形成“GEMM”(卷积运算中的矩阵乘法)。通过这种方式,它不仅可以提供更好的性价比,还可以使Goya支持不同的神经网络。网络结构处理不同的数据类型。因此,在一些高性能领域,例如自动驾驶仪,Goya具有优势。

看看高迪,AI处理器的设计遵循一个相对流行的新架构,称为OCP(开放计算平台),这是一个由Facebook发布的开源计算平台。

“为什么客户选择高迪?”Eitan Medina说,首先,高迪为客户提供更强大的处理能力和更好的性能功耗。其次,它为客户提供内置的RDMA以太网处理单元。以前无法实现的可扩展功能。这两点有什么好处?根据Habana Labs首席执行官David Dahan的说法,人工智能模型培训所需的计算能力每年都呈指数级增长,因此提高生产力和可扩展性以及满足数据中心和云计算中对计算能力的迫切需求成为重要任务。

在AI培训中,可扩展性主要与网络相关。在可扩展性方面,Habana Labs表示,由于Gaudi处理器集成了RoCE v2(RDMA over Converged Ethernet)网络规范,并且可以承载多达20个以太网接口,因此即使在较小的批量大小中,该架构也可以实现几乎无限的扩展。在这种情况下,还可以保持高计算能力,因此基于Gaudi处理器的训练性能,可以从单个设备扩展到由数百个处理器构建的大型系统的线性扩展。 “与Habana的标准设计相比,基于GPU的系统依赖于专有系统接口,这本身就限制了系统设计人员的可扩展性和选择性,”Eitan Medina说。

高迪还将支持主流深度学习框架,包括谷歌开发的TensorFlow,Facebook开发的PyTorch和MXNet等;软件方面将通过Habana Labs自己的SynapseAI软件堆栈分析和优化培训模型输入,其工具链将保持开放状态。为客户添加专有内核;与此同时,Habana Labs还增加了Linux驱动程序支持。

1565104677506495068.png

高迪配备32GB HBM-2内存,目前有两种尺寸可供选择:

HL-200 - 带8个100Gb以太网端口的PCIe卡;

HL-205 - 基于OCP-OAM标准的子卡,带有10个100Gb以太网端口或20个50Gb以太网端口。

此外,Habana推出了一款名为HLS-1的8-Gaudi系统,带有8个HL-205子卡,一个PCIe外部主机连接器和24个100Gbps以太网端口,用于连接现有的以太网交换机。允许客户通过在19英寸标准机柜中部署多个HLS-1系统来扩展性能。

Habana Labs将在2019年下半年向特定客户提供高迪样品。