lz

我们来看看这款RTX 4090的性能表现呢，在运行Llama 2模型的时候能够达到78.5token每秒。即使是在70B参数规模下呢，依然可以保持稳定的35.6token每秒的推理速度，这个性能表现在本地部署场景下是非常理想的。