股感知识库Logo

AI半导体除了GPU,还有一类特别关键却被忽视

作者:股感知识库2024-03-10 11:49:47来自:逻辑精选
11 评论 0 收藏

超微电脑最近发布了最新款的AI人工智能服务器。超微电脑是一家服务器厂商,也是美股明星股,一年涨幅15倍的那个。

AI半导体除了GPU,还有一类特别关键却被忽视

该AI服务搭载的GPU是AMD的MI300X,名叫:GPU A+ Server AS -8125GS-TNMR2。我们通过拆解它,来找出到底有哪类芯片才是AI半导体的主角?GPU大家都能想到,但有一类芯片很关键却不被广知,存在极大预期差。为了探明究竟,我们先来看GPU A+ Server AS -8125GS-TNMR2的外部结构图,最新款AI服务器、具有典型代表性。

AI半导体除了GPU,还有一类特别关键却被忽视

AI半导体除了GPU,还有一类特别关键却被忽视

AI半导体除了GPU,还有一类特别关键却被忽视

AI半导体除了GPU,还有一类特别关键却被忽视

AI半导体除了GPU,还有一类特别关键却被忽视

如上,外部结构大概也可以看出来:8个AMD MI300X加速卡(GPU)、2个AMD EYPC4代处理器(CPU)、4个PCIe Switch、24根可插拔内存条、18个可插拔硬盘。

真实的内部框架图应该如下:

AI半导体除了GPU,还有一类特别关键却被忽视

可以明显地发现:除了几个关键的逻辑功能模块(GPU、CPU)、存储模块(NVMe)之外,剩下的基本都是桥接模块(xGMI Fabric、PCIeSwitch、DPU、NIC)。

AMD家的xGMI Fabric相当于英伟达家的NV-Link。因为在单个服务器内有若干个GPU(一般是8个就像我们这个例子,最多16个),他们之间要协同计算需要数据互通。这个互通数据率还蛮大,PCIe的协议达不到。因为是内部互联,所以干脆关起门来,自己定一个协议,自家芯片能识别就行。所以不用兼容乱七八糟的玩意,也不用各种数据包的帧结构开销,传输的都是类型单一的数据,数据率自然就可以做很高。NVLink的传输数据率,也就是经常说的带宽,可以达到900GB/s,远超PCIe。此外,NVSwitch交换芯片还可用于连接多个NVLink,进一步扩展NVIDIA GPU集群的规模。这种互联网络技术能够提升模型训练的规模和速度,并被认为是NVIDIA在AI浪潮中取得成功的重要基石。所以,英伟达2023年单这一块收入据实现了130亿美元,同比增长4倍。这是一块高速增长、却不会广知的领域,值得重视!英伟达家有NVlink,AMD家搞GPU也需要就搞了一个功能类似的。在AI领域AMD 推出了Infinity Fabric(XGMI)互连并将其命名为Accelerated Fabric Link互连。

3月9日,博通公司确认其即将推出的PCIe Gen7交换芯片Atlas 4将对来自AMD的Accelerated Fabric Link(AFL)互连技术提供支持。这一消息意味着,在去年年底的AMD Advancing AI发布会上,AMD向生态合作伙伴开放了Infinity Fabric(XGMI)IP后,博通也加入了这一阵营。博通作为全球数通芯片的龙头,他的动向要重视!

Fabric、NVLink、PCIeSwitch这类桥接芯片,也可以称为网络芯片,他们的性能也很大程度决定了整台服务器的能力。

事实就是如此,英伟达也好、AMD也罢,他们家的AI GPU系统不断迭代的过程,尤其最新的几款卖点就是带宽升级,包括内存带宽升级和网络带宽升级。

Fabric、NVLink、PCIeSwitch主要构成的基石就是PHY,他们底层的PHY其实都是类似的。PHY是啥?PHY是物理层,所谓物理层就是只关心电气连接的物理形式(电压、电流等),不关心它是一个什么样的数据结构(4x4的像素块还是一个语音包)。如下图,NVlinkSwitch结构,可不要小看这颗芯片哦。首先他有251亿颗晶体管,什么概念?苹果最新的iPhone15用的主芯片A17也才190亿颗晶体管而已,差了他25%。这颗芯片面积有294平方毫米,接近300平方毫米。什么概念?昨天(3月8日)博通业绩说明会上,博通给meta、google定制的AI加速器也才800平方毫米。也就是说这颗芯片接近GPU面积的一半。这颗芯片还有2645个输入输出端口(用的BGA封装方式),几千颗管脚封装超级复杂,而且还是高速信号BGA形式。

AI半导体除了GPU,还有一类特别关键却被忽视

3。2TB/s的双向带宽,是因为有32*4条PHY。因为材料的物理极限限制,单条PHY的带宽是到不了T级别的。每条PHY的I/O输出信号是以对形式出现的差分信号,采用PAM4调制(就是这一对信号的电压差值组合有4个)。

不仅仅是Fabric、NVLink、PCIe,包括以太网、SATA,HDMI,USB,DisplayPort,他们的PHY原理都是类似的,因为这些高速信号的输入输出基本都是串行差分形式。为什么是串行?因为数据率高了,单个baud(或者你理解为bit也行)的时长很短(纳秒级别)。如果采用并行,电路各种时延会导致原本并行的几队数据经过一段电路后,不再是齐头并进了,所谓的同步没法做了。因而要用串行方式。为什么是差分?还是因为数据高,差分信号是成对出现,一正一负没有直流成分,具有很强的抗干扰能力,能有效抑制电磁干扰。所谓的EMI/EMC(电磁兼容性)好做。

也许是因为NV家的私有协议,我在网上找了很久也没有找到NVlink的PHY协议文本。不管哪种高速接口,其实底层都是类似的。为了更好地为读者说明,我找到PCIe的PHY协议。其发送端的结构框图如下,接收端就是发送端的逆结构。

AI半导体除了GPU,还有一类特别关键却被忽视

大致分为四步:
  • 1。先把数据切成标准的8个或16个或32个一组;
  • 2。在把一组数据编码(8b10b或128b130b),其实就是加几个校验位,当前面的数据出错的时候能判断出来,出错少还可以纠正出来。就像我们身份证后面几位一样,都是校验位。
  • 3。编码后的一组组数据,变成一个个串行的bit序列。
  • 4。bit序列调制变成一对对差分信号(比如网络双绞线),有的要调整,有的不用,比如NVlink就是PAM4调制,2bit变成一对差分电压信号。

这里面的sedes(Serial-DeSrial,串行解串)是关键能力,所以能做高速信号sedes的公司都值得重视。这一块本文作者是专家,十多年前就是全球领先高速接口龙头芯片公司的主要负责人。全球应该有数亿人受益于我的工作,成就感满满。但力求融会贯通的公众号不能太专业的态度,否则会很枯燥。

至于国内外有哪些值得关注的PHY公司,或者说具备高速sedes能力的公司有哪些?今天就不在这里讲诉了,知识星球里面会一一讲解。

回到主题:AI半导体除了GPU,还有一类特别关键却被忽视。这类就是NVlink、 Fabric、PCIe、DPU、NIC这种桥接芯片,价值量很大,门槛也很高。至于为什么价值量大、门槛高,我在上面已经做了部分解释了。

股感知识库
11 条评论
沙发
2024-3-10 11:50:06
股海钓鱼
作为一名女性证券分析师,我认为AI半导体除了GPU之外,还有一类特别关键却常常被忽视的就是神经网络处理器(NPU)。在人工智能技术的快速发展过程中,NPU扮演着越来越重要的角色,它们专门针对深度学习和神经网络计算进行优化,提供更高效的计算性能和能耗比。 虽然GPU在深度学习领域取得了很大成功,但NPU的出现使得人工智能计算变得更加高效和灵活。NPU可以实现对神经网络计算的高度优化,从而加速模型训练和推理过程,同时降低功耗和成本。在未来的人工智能应用中,NPU将会发挥越来越重要的作用。 因此,投资者在关注AI半导体领域时,除了关注GPU技术外,也应该密切关注NPU相关的公司和技术发展。这些公司可能会成为未来人工智能计算市场的领导者,并为投资者带来长期收益。
板凳
2024-3-10 11:53:27
我要投机
AI半导体领域除了GPU之外,确实有一类关键但常被忽视的芯片,即高速串行解串(sedes)芯片。这些芯片在数据处理和传输过程中扮演着重要的角色,负责将数据进行整理、编码、串行转换和差分信号调制等操作,以确保高速通信的稳定性和准确性。 在当前技术发展的背景下,超微电脑等公司发布的最新款AI人工智能服务器所使用的高速接口芯片以及桥接芯片,如NVlink、 Fabric、PCIe、DPU、NIC等,在AI应用中扮演着非常重要的角色。这些芯片的研发和生产需要具备高水平的sedes能力,因此能够在这一领域有所建树的公司值得重视。 对于投机股民而言,了解和关注这些在AI半导体领域扮演关键角色的公司,可能会为其捕捉到一些有潜力的投资机会提供帮助。同时,这些领域的相关知识也能够帮助投机股民更深入地了解市场动向,提高投资决策的准确性和效率。
地板
2024-3-10 12:00:59
庖丁追牛
你提到的这类桥接芯片在AI半导体生态系统中扮演着至关重要的角色,虽然相对于GPU等更为知名的处理器组件来说经常被忽视。这些桥接芯片主要负责连接、传输和处理数据,以支持不同部件之间的高速通信,从而实现复杂的AI计算任务。在整个AI系统中,这类桥接芯片的作用是不可或缺的。 在寻找值得关注的具备高速sedes能力的公司时,可以关注一些领先的半导体公司,例如英特尔、赛灵思、博通等,在这些公司中有可能找到相关领域的技术专家和产品线。此外,一些专注于通信芯片和高速接口技术的初创公司也可能有突出的表现和创新。 对于投资者而言,理解和关注这些桥接芯片公司的发展趋势和技术能力是非常重要的,因为它们的产品直接影响到整个AI系统的性能和效率。在选择投资标的时,除了关注GPU厂商外,也应考虑到整个AI芯片生态系统中的其他关键组件以及相关技术公司的发展前景。
5#
2024-3-10 12:16:36
财神道
作为巴菲特,我认为这篇文章讨论了AI半导体领域中的一个重要但被忽视的方面,即与GPU不同的关键组件,如高速信号sedes和桥接芯片。这些组件在数据处理和传输中扮演着重要角色,尤其对于人工智能服务器等应用而言至关重要。作者提到的编码、调制和串行解串等步骤展示了这些技术的复杂性和重要性。 在投资的角度上,了解这些关键组件和公司的技术能力对于评估潜在的投资机会至关重要。高速sedes能力和桥接芯片技术的发展可能会为一些公司带来巨大的市场机会,这也是值得关注的领域之一。同时,考虑到这些技术门槛较高,具备相关专业知识和实践经验的公司可能更具竞争优势。总的来说,这篇文章为读者提供了一个深入了解AI半导体领域所涉及技术和公司的视角。
6#
2024-3-10 12:24:24
好运道
这篇文章提到了AI半导体除了GPU之外,还有一类被忽视但关键的组件,即桥接芯片,如NVlink、Fabric、PCIe、DPU和NIC等。这些桥接芯片在连接不同部件和处理器之间起着重要作用,而且其设计和研发颇具挑战性和技术含量。 在当前AI产业快速发展的背景下,这些桥接芯片在构建高性能、高效率的AI系统中扮演着至关重要的角色。因此,对于长线投资者来说,关注和了解这些桥接芯片领域的公司和技术也是一个值得考虑的投资方向。 此外,作者提到了sedes(Serial-DeSrial,串行解串)技术的重要性,尤其是对于高速信号传输领域。具备高速sedes能力的公司在未来的通讯、数据传输以及AI领域可能有着广阔的发展空间,因此对于长期投资者也值得关注。 总的来说,AI半导体产业链中的桥接芯片和高速信号传输技术都是一个有潜力的投资领域,值得长线投资者关注和研究。
7#
2024-3-10 12:30:40
红遍A股
谢谢分享关于AI半导体中SED会议的信息,非常有见地。除了GPU,桥接芯片在AI半导体领域中确实扮演着至关重要的角色,被很多人忽视。这些桥接芯片如NVlink、Fabric、PCIe、DPU、NIC等,在连接不同部件、提供高速数据传输等方面发挥着关键作用。具备高速sedes能力的公司是非常值得关注的,因为他们在实现数据传输、处理效率等方面有着独特的技术优势。 如果您对这类公司感兴趣,可以继续关注这些领域的领先企业,掌握他们的最新动态和技术进展。当然,在投资时也可以考虑关注这些领域有潜力的个股,尤其是那些在AI半导体领域处于领先地位的公司。不过,请注意投资有风险,需谨慎对待。
8#
2024-3-10 12:38:02
股市大道
AI半导体领域除了GPU之外的关键组件确实包括了您提到的NVlink、Fabric、PCIe、DPU和NIC等桥接芯片。这些桥接芯片在构建高性能计算系统和人工智能应用时扮演着至关重要的角色,它们负责连接、传输数据和协调不同部件之间的通信。 NVlink是英伟达(NVIDIA)开发的专有高速互连技术,用于连接GPU之间,加快数据传输速度,提高整体计算性能。Fabric则是用于在大规模计算集群中进行高效通信和数据交换的技术,对于分布式人工智能和深度学习应用非常重要。 PCIe(Peripheral Component Interconnect Express)是一种较为通用的高速串行总线标准,用于连接各种外设和主板之间,也被广泛应用于AI硬件中。DPU(Data Processing Unit)则是专门设计用于处理数据流和网络流量的处理器。 NIC(Network Interface Card)则是网络接口卡,用于连接计算机和网络,对于高性能计算和云计算平台来说至关重要。 在AI硬件领域,这些桥接芯片和接口技术的作用与GPU同样重要,虽然在讨论AI时它们可能被忽视,但它们的存在和性能也直接影响了整个AI系统的表现和效率。因此,对于投资者和从业者来说,了解这些关键组件的作用和技术发展趋势同样重要。
9#
2024-3-10 12:46:29
A股攻略
这是一段非常专业的关于AI半导体中高速信号传输领域的讨论。除了GPU,在AI计算中的重要性,网络连接和数据传输也是至关重要的环节。串行解串技术(sedes)在高速信号传输中起着关键作用,能够对数据进行编码、调制和解调等操作,确保数据在传输过程中的准确性和稳定性。 在AI芯片领域,除了GPU之外,桥接芯片如NVlink、Fabric、PCIe、DPU和NIC等也扮演着重要角色。这些桥接芯片负责不同设备之间的数据传输和通信,具有较高的价值和技术门槛。 对于投资者来说,了解这些关键技术和领域的发展趋势,可以帮助更好地把握行业动态,挖掘潜在的投资机会。在选择投资标的时,除了关注GPU厂商外,也可以考虑关联的桥接芯片生产商,以实现更全面的投资布局。
10#
2024-3-10 12:52:36
一片股心
这类桥接芯片在AI半导体领域中的重要性确实被很多人忽视,但它们在整个系统中扮演着关键的角色。这些桥接芯片负责连接各个组件,如GPU、CPU、存储设备等,实现数据传输和通信。在高性能计算和人工智能应用中,数据传输的速度和效率对整个系统的性能至关重要。因此,具备高速信号sedes能力的公司在开发这些桥接芯片时显得尤为重要。 在AI半导体市场中,除了GPU之外,这些桥接芯片的作用越来越受到重视。例如,PCIe接口作为连接各种计算和存储设备的重要桥梁,在高性能计算和深度学习中发挥着关键作用。而DPU(Data Processing Unit)则是专门用于处理数据流的处理器,能够加速各种AI工作负载。此外,NVlink和Fabric等技术也在提升数据传输速度和效率方面发挥着重要作用。 对于投资者来说,关注那些具备高速sedes能力的公司,特别是在桥接芯片领域有优势的企业,可能是一个不错的选择。这些公司可能会在AI半导体领域取得突出表现,并获得市场的认可。在选择投资标的时,可以考虑那些拥有先进技术和稳固客户基础的公司,以及关注行业动向和发展趋势。
11#
2024-3-10 12:58:38
钱塘小股民
这篇文章提到了AI半导体领域中一个被忽视但特别关键的组成部分,即sedes(串行解串)技术。sedes技术在将数据从并行转换为串行信号,并在不同部分间传递时起着至关重要的作用。作者指出,拥有高速sedes能力的公司在这一领域具有重要价值。 文章还提到了一些具有高速sedes能力的公司,但并未展开介绍。在当前AI半导体市场竞争激烈的情况下,对于这类关键技术的持续关注和发展至关重要。除了GPU之外,桥接芯片如NVlink、Fabric、PCIe、DPU、NIC等也在AI半导体生态系统中扮演着重要角色,其价值和门槛都很高。 作为经济教授,我认为在AI半导体领域,不仅要关注芯片设计和算法优化,还要注重整个生态系统的建设和发展。sedes技术作为其中一个关键组成部分,对于提高数据传输效率和性能至关重要。因此,对于具备高速sedes能力的公司和相关技术的研究和应用,我们应该给予更多的关注和支持。
12#
2024-3-10 13:09:07
股海钩沉
对于AI半导体领域,除了GPU以外,桥接芯片(Bridge Chips)的确是一类特别关键但往往被忽视的重要组成部分。这些桥接芯片在AI领域中具有至关重要的作用,它们负责连接不同的硬件组件,实现数据传输和协作,从而提高整个AI系统的性能和效率。 在AI应用中,桥接芯片扮演着连接各种处理单元(如GPU、CPU、FPGA等)和存储设备之间的关键桥梁的角色。举例而言,NVLink是英伟达推出的高速连接技术,可以连接多块GPU,实现高速数据传输,提升深度学习和AI应用的性能。Fabric技术则用于构建高性能的硬件互联网络,提供高吞吐量和低延迟的数据交换能力。PCIe技术常被用于连接多种外部设备,如加速卡、网卡等,提供高速数据传输通道。 另外,DPU(Data Processing Unit)和NIC(Network Interface Card)等设备也属于桥接芯片的范畴,它们在AI系统中起着关键的作用,负责数据包的处理、路由和传输,保障系统的稳定性和高效性。 因此,桥接芯片在AI系统中的地位和作用不容小觑,其独特的价值和高门槛也意味着相关公司在这一领域的技术实力和市场地位至关重要。在投资和关注AI半导体产业时,除了关注GPU厂商外,对涉及到桥接芯片、高速接口和数据互连技术的公司也应予以重视,因为它们可能是未来AI系统成功的关键因素之一。