如何看待Groq 横空出世，算力的下一种可能？

Groq 爆火主要是因为其处理速度非常快。该公司的芯片推理速度较英伟达GPU提高10倍，成本只有其 1/10。运行的大模型生成速度接近每秒 500 tokens，碾压 ChatGPT-3.5 大约 40 tokens/秒的速度。极限情况下，Groq的Llama2 7B甚至能实现每秒750 tokens，为GPT-3.5 的 18 倍。价格上，根据芯语消息，Groq 的一张 LPU 卡仅有 230MB 的内存，售价为 2 万多美元。