Ray

大模型本地部署测试

最近打算升级我的5080, 看5090很香。 但是不知道实际效果如何。于是突发奇想使用大模型测试一番看看效果 要看5090能干嘛,当然不能直接买,于是在AUTODL上面充值了100,试试水。 这里都是些主观性的测试,大家看看就好。主要测试的是酒馆的角色卡。 这里直接贴数据: 模型 qwen2.5:32b 首先是5090, 32gb的显存,虽然能用,但是上下文号称是32k, 但是实际拉...

AI, 大模型

AltStyle によって変換されたページ (->オリジナル) /