Groq的超快LPU很可能成为首款LLM原生处理器

由前谷歌工程师兼首席执行官乔纳森·罗斯(JonathanRoss)领导的Groq声称已经创建了有史以来第一个语言处理单元(LPU)，据称它可以为人工智能应用程序提供最快的速度。

这是一个大胆的主张，但最新的演示不仅仅支持这一主张，表明它很可能成为人工智能的绝对游戏规则改变者。

Ross曾设计过谷歌的张量处理单元(TPU)，他于2016年推出了Groq，旨在打造一款能够比现有CPU和GPU更高效地执行深度学习推理任务的。

该公司的张量流处理器(TSP)就像一条装配线，以顺序、有组织的方式处理数据任务。相比之下，GPU类似于静态工作站，工作人员来来去去应用处理步骤。随着生成式人工智能的兴起，TSP的效率变得越来越明显，罗斯将TSP重新命名为语言处理单元(LPU)，以提高其可识别性。

与GPU不同，LPU采用简化的方法，无需复杂的调度硬件，从而确保一致的延迟和吞吐量。LPU还具有高能效，可减少管理多个线程的开销并避免核心利用率不足。Groq的可扩展设计允许多个TSP连接而不会出现传统瓶颈，从而简化了大规模AI模型的硬件要求。

Groq的第一个公开演示是一个快如闪电的人工智能答案引擎，可以在不到一秒的时间内生成数百个单词的答案。MattShumer在X上发布了测试，并表示超过3/4的时间花在搜索而不是生成上。