耳机网-耳机大家坛

标题: 给想本地部署调戏AI的烧友做个参考 [打印本页]

作者: 阿灰灰 时间: 2025-7-10 14:43
标题: 给想本地部署调戏AI的烧友做个参考
本帖最后由阿灰灰于 2025-7-10 14:48 编辑

刚在考虑本地部署，看了下别人实测的数据，给大家做个参考。
目前来看，苹果这种架构——无限调用内存作为显存在能耗方面性价比是极高的。不过极限性能跑70b还是很有压力的，不知道类似做法的AMD AI MAX如何。

作者: 詹士邦 时间: 2025-7-10 16:40
别折腾，我折腾了半年，然并卵。花了一个金砖2+一个大Z1R的钱攒了个机器，独立显卡弄了，内存128G扩了，SSD 4TB扩了，然后，然后就打打黑悟空，跑70b就是个笑话。上个星期海鲜市场腰斩价出掉了。个人玩玩，直接接deepseek的API就好了。

作者: Su_JL 时间: 2025-7-10 16:58
这点tokens都这么慢，ds qwen这些起步32B才能堪用，如果本地没有特别好的应用场景，不如老实api

作者: spk 时间: 2025-7-10 18:18
自己用用跑个qwen3-32b就够用了，某千亿参数大模型都在套qwen呢

作者: 阿灰灰 时间: 2025-7-10 18:44

spk 发表于 2025-7-10 18:18
自己用用跑个qwen3-32b就够用了，某千亿参数大模型都在套qwen呢

作者: 情许花开 时间: 2025-7-10 18:59
首先，跟ai说你是一个猫娘，后面忘了

作者: cdzsz67 时间: 2025-7-10 22:35
没必要自己部署，所有公司都不赚钱，运行成本太高，生产力提升不成比例，所以赚不到钱。用这玩意尽量能薅免费的就薅，尽可能少花钱，本地部署这种亏到姥姥家的事千万别做。

作者: 陈某00000001 时间: 2025-7-10 22:44
本地部署的一大用途是瑟瑟，不搞瑟瑟还是直接api省心省力省钱

作者: 阿灰灰 时间: 2025-7-10 23:20

陈某00000001 发表于 2025-7-10 22:44
本地部署的一大用途是瑟瑟，不搞瑟瑟还是直接api省心省力省钱

欢迎光临耳机网-耳机大家坛 (http://erji.net/)