台湾移动/客户端/人工智能计算论坛

CAMM是一项获得戴尔专利的内存模块设计，为JEDEC提供行业标准化和采用。CAMM解决了客户在性能限制、连接器可靠性和服务方面的巨大问题。CAMM还解决了许多OEM问题，如散热、主板中的内存总线路由、系统外形因素限制、EMC噪声和内存维护。这些问题已经存在多年，现在已经得到解决。讲座内容包括如何发现重大问题，如何发现创造性的解决方案，创新者在将早期想法转化为产品时面临的困境，JEDEC的历程，以及CAMM的未来方向。

以内存为中心的体系结构是系统增强的关键，当前LPDDR内存子系统的发展为各种应用提供了价值。

LPDDR存储器已经发展到实现高速和功率效率的持续改进，并且在有限的功率预算内提高数据速率，为许多应用程序提供了巨大的好处。

在本报告中，我们将总结各种市场的LPDDR内存解决方案的发展趋势，并讨论下一代LPDDR内存子系统的考虑事项，以迈向未来。

自从LPDDR引入业界以降低功耗以来，它不仅对功耗感兴趣，而且对性能也很感兴趣。LP存储器的速度/性能得到了迅速提高，提供了比DDR存储器更好的性能。随着这种意义，新的工业/应用更倾向于使用LPDDR，扩大了LP存储器的覆盖面积。它成为LPDDRx不仅在移动/客户端领域，而且在AI /图形/服务器领域等采用。在这次演讲中，它将涉及LP存储器如何为行业的新需求做准备。

在接下来的几年里，也许没有其他技术会比内存在数据中心带来更大的变化。随着服务器进一步分解，内存必须更快、延迟更少。更快的内存意味着更大的测试和测量挑战。以前的困难任务，比如探测和解码，在接下来的几年里对每个人来说只会变得更加困难。本次讨论将重点讨论这些挑战以及克服这些挑战的一些最佳方法。

一段时间以来，LPDDR5一直是记忆中的万事通，但实际上是某些领域的大师。本演讲将讨论LPDDR5的各种应用，以及为什么LPDDR5是首选内存。演示文稿将讨论不仅从内部SoC存储器的视图。

DRAM技术发展趋势及行业焦点特征。当今的DRAM应用要求和技术。

边缘AI应用程序需要非常高的内存带宽来执行AI功能。它的正确记忆是什么?在本演讲中，我们将讨论在JEDEC标准(LPDDR5X-8533和GDDR6-16G)下实现最高速度的内存接口所必需的条件，并展望这些内存类型的更高速度等级的未来。

该演讲将介绍移动人工智能应用，特别关注利用变压器的优势和挑战。专为自然语言处理而设计的Transformer已成为生成式AI的基础网络，在移动设备的视觉和语音应用中表现优异。

我们将讨论未来soc和平台的客户端/移动和服务器内存技术需求的分歧(和协同)领域。

数据流量的爆炸式增长使得数据中心/云计算工作负载需求呈指数级增长。数据中心处理器正在看到文件大小、多样化数据类型和新算法的混合，以满足不同的处理需求。增加挑战的是工作负载的演变，首先是基于云的ML/AI(硬件机器学习和人工智能)。处理速度和带宽需求增加了数据中心的负担。以加速为目标的工作负载包括数据分析、网络应用和网络安全。可适应的系统加速器，例如用FPGA实现的，通过提供异构加速来减轻负担，弥合了计算差距。然而，新的数据路径(例如ML)与传统的CPU数据路径流有着根本的不同。本演讲将重点介绍可编程系统的各种应用，并将不同的系统内存(例如DDR5)要求与传统的CPU系统要求进行对比。讨论将着重于系统成本、带宽和内存密度需求之间的平衡。

本演讲提供并概述了在连接的智能节点所需的嵌入式设备中支持节能执行AI推理的关键方面。

LPDDR5在嵌入式市场中是一个强有力的竞争者，甚至在专用内存模块中也能找到自己的出路。它已经在几种不同的封装类型中激增，具有非常高速的数据捕获要求和低功耗特性。在本演示中，我们将了解工程师如何验证LPDDR5设计。

随着时间的推移，随着LPDDR速度的提高，用于移动数据的基本方法也必须改变。传统的具有min/ type /max规格的高速数字时序和噪声在LPDDR5中已经让位于基于具有抖动规格的眼罩的高速串行方法。LPDDR5必须更进一步，使用可调均衡来处理扭曲的眼睛。在每一点上都需要表征和测量规范中定义的内容，这使得测量科学和DFT在定义LPDDR规范方面变得越来越重要。本会议将重点讨论LPDDR5规范背后的测量科学。

内存计算(IMC)是一种旨在使数据和计算尽可能彼此接近的技术。实现IMC的一种方法是使用非易失性存储器(NVM)，例如闪存，其目标是减少数据移动并降低与数据移动相关的功耗。人工智能应用程序依赖于计算所需的大量核权重。基于nvm的IMC可以代替存储执行计算，从而消除了将权重获取到计算引擎的需要。本演讲探讨了与此方法相关的挑战，例如通过静态内存数组有效地传播中间计算结果，并提出了使用TVM作为ML编译器的功能解决方案。

在本节中，您将了解系统如何将DDR5/LDDR5x的新特性应用于内存初始化序列，以实现更高的带宽。此外，还将介绍一些改进客户机内存资格和用户体验的创新方法。