📰 来源：Towards Data Science　|　📅 翻译日期：2026年7月9日
🔗 原文：查看原文
🤖 翻译：DeepSeek AI · 仅供参考

计算与数据访问的失衡

当我们讨论AI算法实现中面临的问题时，通常聚焦于处理器的计算能力。如今，NVIDIA的GPU驱动着最新的大型语言模型，各家公司竞相制造更快的AI加速器。这些新芯片承诺更强的算力、更多核心和每秒更高运算次数。

因此，人们会认为AI的未来取决于制造更强大的处理器！但问题在于，许多当今AI系统的瓶颈不是计算速度，而是数据访问速度——执行计算所必需的数据的获取速度。

换句话说，AI的未来可能更依赖于内存而非计算能力。

我知道这听起来不那么直观，但让我们退一步想象：雇佣世界上最高效、最快的厨师。这名厨师能以惊人速度准备餐食，然而所有食材都存放在几英里外的仓库。厨师烹饪前，需要有人去取食材并送到厨房。

无论厨师多么有天赋，总会有一段无所事事的时间，等待所需食材送达。现代AI系统面临类似挑战：处理器能执行计算，但无法对尚未到达的数据进行操作。如果处理器运算速度快于内存输送信息的速度，性能将受限于数据移动而非计算。

这在计算机科学中被称为内存瓶颈，是当今AI最重要却最少被讨论的挑战之一。

现代模型的规模激增

为了更好地理解内存为何成为重大议题，需考虑当今AI模型的规模。早期机器学习模型可能有数千或数百万参数，而现代基础模型拥有数十亿甚至万亿个参数。每个参数都是一个数值，必须存储在内存中，并在训练和推理期间反复访问。

听起来合乎逻辑，但让我们用具体数字固化理解！假设一个模型包含70亿参数。在开始计算前，系统就需要存储所有这些参数的空间。现在想象数千用户同时与模型交互，硬件必须持续在内存和处理器之间移动海量信息。

结论是：挑战不再是单纯的计算，而是以足够快的速度向硬件供给数据。

移动数据可能比计算更昂贵——这是计算领域最反直觉的现实之一。

几十年来，处理器性能突飞猛进，工程师在加快计算方面极为出色；然而内存系统的改进步伐较慢，导致日益增长的失衡。随着AI系统规模扩大，这种失衡愈发明显。现代处理器每秒能执行万亿次运算，却常常花大量时间等待数据到达。

这种数据瓶颈以不同形式出现在AI系统中：在内存和处理器之间、在GPU之间、跨服务器或在数据中心之间。模型规模只会继续增长，数据移动问题将主导系统整体性能！

认识AI内存

到目前为止，我写“内存”一词可能已超过20次（没计数！）。你可能在想：她指的是哪种内存？多数人熟悉RAM，即笔记本电脑和台式机中的内存。AI系统为不同用途使用不同类型的内存。

1. RAM：随机存取存储器，存储CPU使用的数据。容量相对较大，但速度不如专用AI内存。
2. VRAM：图形处理器包含专用内存，即视频随机存取存储器。训练和推理期间用于存储模型参数、训练批次、激活值和中间计算结果。可用VRAM容量常决定模型能否装入单个GPU。
3. 高带宽内存（HBM）：现代AI加速器越来越多地依赖高带宽内存。HBM专为极快速度移动大量数据而设计，重点不是增加容量，而是提高内存带宽——数据传输速率。

内存容量很重要，但其带宽作用更大。可以类比高速公路：容量是公路上能容纳的汽车数量，而带宽是车道数。即使有巨大停车场，若所有车辆必须通过单车道离开，交通便成制约因素。

如前所述，AI系统以不同方式使用不同内存。训练和推理中的内存挑战也不同。

• 训练：需要存储模型参数、梯度、激活值和优化器状态，内存需求巨大，通常需将内存分布在多个GPU上。
• 推理：通常所需内存少于训练，但引入不同挑战：模型必须持续服务请求，同时快速检索参数并生成输出。对于交互式系统（如聊天机器人），低延迟至关重要，而内存访问延迟可能导致响应缓慢。