给想本地部署调戏AI的烧友做个参考

阿灰灰 · 发表于 2025-7-10 14:43

本帖最后由阿灰灰于 2025-7-10 14:48 编辑

刚在考虑本地部署，看了下别人实测的数据，给大家做个参考。
目前来看，苹果这种架构——无限调用内存作为显存在能耗方面性价比是极高的。不过极限性能跑70b还是很有压力的，不知道类似做法的AMD AI MAX如何。

詹士邦 · 发表于 2025-7-10 16:40

别折腾，我折腾了半年，然并卵。花了一个金砖2+一个大Z1R的钱攒了个机器，独立显卡弄了，内存128G扩了，SSD 4TB扩了，然后，然后就打打黑悟空，跑70b就是个笑话。上个星期海鲜市场腰斩价出掉了。个人玩玩，直接接deepseek的API就好了。

Su_JL · 发表于 2025-7-10 16:58

这点tokens都这么慢，ds qwen这些起步32B才能堪用，如果本地没有特别好的应用场景，不如老实api

spk · 发表于 2025-7-10 18:18

自己用用跑个qwen3-32b就够用了，某千亿参数大模型都在套qwen呢

阿灰灰 · 发表于 2025-7-10 18:44

spk 发表于 2025-7-10 18:18
自己用用跑个qwen3-32b就够用了，某千亿参数大模型都在套qwen呢

情许花开 · 发表于 2025-7-10 18:59

首先，跟ai说你是一个猫娘，后面忘了

cdzsz67 · 发表于 2025-7-10 22:35

没必要自己部署，所有公司都不赚钱，运行成本太高，生产力提升不成比例，所以赚不到钱。用这玩意尽量能薅免费的就薅，尽可能少花钱，本地部署这种亏到姥姥家的事千万别做。

陈某00000001 · 发表于 2025-7-10 22:44

本地部署的一大用途是瑟瑟，不搞瑟瑟还是直接api省心省力省钱

阿灰灰 · 发表于 2025-7-10 23:20

陈某00000001 发表于 2025-7-10 22:44
本地部署的一大用途是瑟瑟，不搞瑟瑟还是直接api省心省力省钱

帐号		自动登录	找回密码
密码			-注册-