Groq推出“地表最强推理”，国产AI芯片如何突围？

【金色港湾资讯网为您推荐阅读】

启示一：可以聚焦具体场景，建立“比较优势”

Groq芯片属于LPU（语言处理单元）的一种，其优越的推理性能再次展现了专用AI芯片在特定场景下的应用价值。 因此，参考在某种应用场景下能够替代或超越的Groq芯片或许是现阶段国产AI芯片的有效发展路径。

比如这款推理芯片就注重“快”。 传统的生成式AI主要使用 A100和H100芯片进行训练和推理。 大型模型的推理过程中等待是比较正常的。 人物一一弹出，需要半天时间才能回答。 但在Groq的演示平台上，模型在收到提示词后几乎可以立即生成答案。 这些答案不仅质量相对较高，而且还带有引号，长达数百个字。 更令人惊讶的是，它超过 3/4 的时间都花在搜索信息上，而生成答案所需的时间却只有几分之一秒。

虽然暂时还存在种种缺点，但Groq芯片的优势却如此突出，在某些场景下完全可以取代，甚至做得更好，自然吸引了不少关注和认可。 可以想象，Groq芯片的成本控制优化到合适的范围后，将会有大量的实际应用场景可以适配和使用。

启示二：应用场景注重“性能匹配”

Groq芯片以其推理速度脱颖而出，充分说明了其性能与应用场景的强相关性，再次提醒我们应用场景的重要性。 国内AI芯片产业应注重实际应用场景中的性能匹配，并在此基础上进行芯片优化和创新。

在语言推理赛场上，冠军归属尚未决出。 目前Groq芯片的整体品质还相当不足。 例如，Groq芯片的每张卡的内存为230MB。 运行 Llama-2 70B 型号时，需要 305 个 Groq 卡，而使用 H100 则只需要 8 个卡。 从目前的价格来看，这意味着同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是H100的10倍。 另外，Groq芯片目前只能适应少数大型模型的推理工作，并且需要大量调试，广泛适用性比较差。 这个差距对于中国企业来说也是一个创新的机会。

最终，一款AI芯片产品能否胜出，与多种因素密切相关，包括芯片本身的技术路线、产品上市时间、大型号的成熟度等。对于大型号，一些人认为目前认为大机型已经开始稳定，在此基础上有发展芯片的机会； 其他人则认为大型模型仍在快速变化。 两年后，一旦换大型号，所有的投资都会损失殆尽。 必须重新开始。 这些论点还有待时间的检验。

启示三：利用第三方评价体系“精准定位”

当前，美国政府对我国芯片出口的管控力度不断加大，对国内AI芯片行业既是挑战，也是机遇。 从产业发展整体来看，迫切需要构建中立、客观、权威的评价体系，为各类芯片提供公平的竞争舞台和场景匹配渠道。

在2023年世界人工智能大会上，人民日报通信内容认知国家重点实验室（人民日报社）与中国电子技术标准化研究院联合推出的“智月计划”提出，共同推动建立人工智能芯片性能总体评价评价标准体系、场景评价、综合评价。 场景评估是测试各芯片在不同人工智能应用场景下的实际使用效果。

“情报计划”最终将形成针对具体应用场景的综合报告和产品推荐目录，从而有助于优化市场供需匹配，为政府、企业和政府部门的芯片选型提供重要参考和决策依据。研究机构建设智能计算中心。

随着AI技术的快速进步，市场对芯片产品的性能、稳定性和适用性提出了更高的要求。 科学完整的评价体系将有效引导企业研发方向，促进生态繁荣发展和行业整体进步。