服务器/计算机/边缘论坛韩国

人工智能和其他应用程序一直在推动数据中心新的和戏剧性的用例。这要求对底层硬件基础设施进行重大更改。在过去的十年里，gpu(加速器)、cpu和网络发生了重大变化。因此，我们看到数据中心内存负载的急剧增长，有必要重新考虑内存解决方案。AI/ML、缓存、数据库和数据仓库服务器正在推动对更高内存容量和带宽的需求。

当前的内存层次结构和解决方案仅限于与cpu相连的内存。然而，CXL现在在下一代数据中心解决方案中开辟了至少两个新的潜在的“可组合内存系统”。首先，我们有潜力通过内存扩展在某些平台上显著增加内存容量。其次，我们现在可以构建tco优化的内存层。这就要求整个行业团结起来，共同开发软硬件协同设计的解决方案。Meta将分享其支持可组合内存系统的计划，该系统将推动其未来的AI/ML和tco优化内存服务器。

从超大规模云服务器soc的角度来看，内存技术需求的未来方向是什么?

数据流量的爆炸式增长使得数据中心/云计算工作负载需求呈指数级增长。数据中心处理器正在经历文件大小、多样化数据类型和用于不同处理需求的新算法的混合。增加挑战的是工作负载的演变，基于云的ML/AI(硬件机器学习和人工智能)是首要的。处理速度和带宽需求增加了数据中心的负担。加速工作负载的例子包括数据分析、网络应用和网络安全。可适应的系统加速器，例如用FPGA实现的，通过提供异构加速来减轻负担，从而弥补了计算差距。然而，新的数据路径(如ML中的数据路径)与传统的CPU数据路径流有本质上的不同。本报告将重点介绍可编程系统的各种应用，并将不同的系统内存(如DDR5)需求与传统CPU系统需求进行对比。讨论的重点是系统成本、带宽和内存密度需求之间的平衡。

“内存墙”指的是在计算机体系结构中提供足够的内存带宽以跟上CPU的处理能力的挑战。这个问题的出现是因为CPU的速度比内存的速度增长得快得多，从而导致性能下降。内存墙问题的解决方案是针对传统的冯·诺依曼体系结构和内存层次结构设计的。然而，这些现有的架构并不适合处理大数据和大型机器学习模型，因为工作集太大，无法适应现有的内存层次结构。

为了解决带宽墙问题，出现了一种名为数据中心计算的新方法，可以替代传统的以计算为中心的范式。这种方法根据数据的位置和计算的复杂性优先确定计算的最佳位置，而不是仅仅将所有数据传输到CPU。以数据为中心的计算技术包括计算存储、内存处理(PIM)和近内存处理(PNM)，这些技术在处理大数据工作负载方面显示出良好的效果。

DDR5现在被引入服务器，台式机和笔记本电脑，并有两个高速通道，双数据速率和单数据速率信号。udimm, rdimm和sodimm模块都以不同的方式固定，这些模块有pmic, SPD, HUB, TS和RCD。当然，DDR5比DDR4更复杂!本报告将回顾目前在DDR5上工作的工程师所面临的实验室验证问题。看看工程师们是如何解决这些问题的，以及他们面临的挑战是什么。

有标准，也有衡量标准的方法。通常，规范驱动测量程序，但在DDR5速度下，开发必须齐头并进，以确保理论上可行的东西不仅适用于实践，而且可以在实验室和生产中得到证实。本次会议将重点讨论由规范驱动的DDR5测量方法，以及影响DDR5规范的实际考虑因素。本文介绍了探测和测试夹具，DDR5规范本身中新的DFT特性的使用，测量算法和自动化，以及具体的示例，以实现DDR5内存和支持设备、内存以及整个系统(包括服务器和嵌入式)的表征和故障排除。

全面介绍计算机存储器的市场分析和相关最新存储器技术的介绍。

DDR5是一种流行的DRAM内存，用于新的服务器/云和边缘设计。DDR5能够提供非常高的内存容量，同时安装在dimm, CXL™或直接连接到PCB上，使DDR5成为计算量大和大数据服务器设计的明显选择。与此同时，用于人工智能/机器学习、密码学和媒体的专用服务器机器，以及所有类型的边缘应用程序也在快速增长，这些应用程序可能受益于针对带宽、功率、容量和形状因素的不同权衡而优化的不同内存。在本次演讲中，我们将讨论DDR5是一个强大的选择，而LPDDR5/5X, GDDR6或HBM3可能为特定类型的服务器/云和边缘设计提供更好的权衡。

本报告试图解释DDR5 SDRAM从DRAM、模块到支持芯片的整体改进。随着时间的推移，内存瓶颈问题越来越严重，内存行业也在努力应对。本报告涵盖了DDR5代的关键创新项目。

在本课程中，您将了解英特尔如何认真努力提高DDR5质量，通过验证以及利用DDR5内存功能来解决客户的内存质量和可靠性问题。此外，还将介绍一些改进服务器系统性能的创新方法

数据中心现在是新工业革命的核心，随着数据量以爆炸性的速度增长，存储解决方案所扮演的角色变得越来越重要，这些数据被用于许多不同的服务，包括chatGPT等人工智能。本报告解释了正在发生的事情，以及在数据中心的内存产品中可以预期的事情。

在未来几年内，可能没有其他技术比内存对数据中心的影响更大了。随着服务器进一步分散，内存必须更快，延迟更少。更快的内存意味着更大的测试和测量挑战。以前困难的任务，比如探测和解码，在未来几年只会变得更加困难。本次讨论将集中讨论这些挑战以及克服这些挑战的一些最佳方法。

众所周知，基于DDR5的系统的性能在很大程度上受到系统配置的影响。许多设计师都在追求DDR5 6400Mbps的速度目标，但希望DRAM容量尽可能高，这意味着更多的加载/级别。本演示将展示一个以6400mbps为目标的双秩、单插座、DDR5 RDIMM系统的信号完整性分析。本次演示将讨论时间预算，并重点介绍启用接收机决策反馈均衡(DFE)时所看到的数据眼改进。