从学习角度来说,不折腾模型精调和模型训练,购买第三方 api 是不是最划算的
即便是 rag ,embedding ,大模型,重排模型,向量数据库,第三方都有服务,还不需要解决网络,也不需要多少内存,还有赠送额度用
虽然 50wtoken 玩一玩就没了( b 站有人利用超长模型让 AI 学习三国演义全书,测试和 rag 的对比)
相比之下即便是 macmini m4pro 32g 的也一万块了
还是看具体用途吧,自己辅助写代码,你也只会用顶级 API ,本地参数太小智商太低,你也不会用。
如果是企业文档,你公司知识库全部放别人服务器上,总感觉也不太好。
最好就是公司能报账,买 macmini m4pro 32g 丢在局域网,用 ollama 布置一下,给部门同事用是最好的了。
公司的集群在搞,据说能跑至少 2 套完整的 deepseek ,但是招标你也知道的,没个把月搞不下来
还是看你想先学哪方面内容,你有钱当然可以买更好的硬件,有一个性价比。
没钱就搞免费的 API 或 小模型,最近 Qwen3 不是出了个小模型
没见过 macmini 做为 PRD 严肃应用的公司,太不正经了。。
“购买第三方 api 是不是最划算的”
如果只考虑 AI 的执行层面,是的。
目前即便是最低成本的方案( k'transformer ),跑 671B 的 deepseek ,也就 3token 每秒。大概的硬件成本在 5~6 万。你可以换算一下,3token/s ,跑价值 6 万的 api ,大概需要多少年。如果想让 token/s 提升,价格基本也是指数级提升。
但是使用 API 也有很多不便。
1 、不能微调,不能训练。导致很多细分业务场景下没有收敛度很高的模型 api 可用。
2 、第三方也有一些使用上的限制。比如隐私、xx 限制等。而且第三方 api 的审核模型与内容控制会污染最终输出的精度。
3 、很多高品质的 api 提供商并不服务于大陆。
所以可以看到很多垂直领域的公司,宁肯自己成本高,也要自建,甚至是自训练、自开发。比如彩云系。
btw:v 站的关键词限制越来越魔怔了,上文比较“扭捏”的名词都是我经过“润色”的,否则直接封 IP
Nvidia 在推 arm cpu 的 AI 集成 PC ( NVIDIA DGX Spark ),有统一的 128G 显存/内存,按理说都不是正经的 GPU ,但架不住比显卡要便宜啊。
就纯学习的角度我觉得 mac mini 24G 或者 32G 最具性价比,24G 足够部署 14B 的模型,本地学习足够了。微调训练模型什么的还是直接用云厂商的比较划算
不用 ktransformer 等方案把未激活的参数放到内存中,纯用 GPU 跑未量化未蒸馏的满血 fp8 671b r1 需要大概 16 块 A100 ,贵司一出手就是两套还是很有实力的啊。。。 apxml.com/posts/gpu-requirements-deepseek-r1
目前个人玩玩可能可以吧。
反正我公司,我碰到的,要做私有化部署的其他公司,都是采购正经 H20 机器。(有信创要求,则是昇腾机)
便宜就自己买了自己玩呗,公司正规采购自建 AI 数据中心,或者你给正经客户做方案,目前用 mac mini 堆,恐怕只是程序员思维了。。。
A100 也不支持 FP8 鸭...
是的,买是最划算的
没有时间就花钱买
我觉得是的
是的,自购硬件绝对是不划算的。服务商能跑满 GPU ,基本上不留空闲,个人很难做得到。
只要跑不满,时刻在浪费钱
如果是独立开发者,在模型层面投入回报比会特别低,建议直接借 api 杀入应用层面
有些东西只能本地 ai 能说, 网络 api 全给你屏蔽了
#1 为啥不用带显卡的机器
不一定,你本地跑个 deepseek/gemma ,问点不能碰的滑梯,照样不回答,得看模型背后的公司的所处郭嘉。每个郭嘉都有属于它们的不能被讨论的 zz 正确
本地的可以调教啊, 可以清洗掉思想钢印, 不会有关键字检测
目前主要在 macOS 下工作学习,brew 用着很爽,管理各种软件装起来也方便 之后要迁移到 linux ,看了下最近 brew 的 linux core 也移动到主分支了一…
加配了一块国产 ssd ,sata 接口,放 qb 的 config 和种子,使用没问题,几百个种子都很流畅,功耗 40w 左右 2014 MBP 8+128 外挂硬盘柜 …
有时候不想用 sql 数据库 但想用简单点的文档数据库, 但又不想用 mongodb 有没有类似 sqlite 定位的本地轻量文档数据库呢 那为什么不 sqlite 呢? …