如果想训练一个类似于智谱的模型 大概得耗费多少钱?
特别想知道 如何自己去训练这种类似的编程模型,且只提供给公司内部 12 个人使用
并发并不大的情况下 需要耗资多少钱呢
有没有兄弟 知道或者正在弄
自己部署成本不会太高,自己训练。。。还要和成熟的模型进行对标,千万资金够吗
哇塞 得千万啊,看来不得行,以为几十万能搞定 才能给公司提需求搞硬件
智谱 GLM 4.5 开源的,可以自己部署一套,开源的还有 Qwen3-Coder-480B 也可以选择,是出于什么样的需求一定要自己训练一个呢?
"训练"大模型和"运行"大模型是两回事。DeepSeek V3 的训练成本约为 557.6 万美元, 包含显卡租赁费用和电费等。
个人感觉你可能弄混了,训练一个模型和提供 12 个人使用的模型,不是一个问题吧
前者是训练一个需要达到智谱级别模型?
后者是部署一个模型供 12 个人使用?
你可以考虑在开源模型的基础上做自己文档的 finetune ,这个可以便宜一些,也可以得到针对特定场景优化的模型。应该几十万就可以。
对不起 我弄混的
我应该是需要一个类似于智谱 4.5 的模型来给内部提供服务用 这样就不需要再买 api 了
你需要的是 RAG
你可能对训练这东西的费用缺少一个基本的认知。。
远远不如去订阅 API 划算,他们可以一直升级模型,而你的硬件买来就开始折旧,可能新模型出来也无法运行。
短期来看买 api 还是合算的 这里有另一组讨论有实际的方案和金额 www.chiphell.com/thread-2741616-1-1.html
微调几十大百万可以
不如 api 划算,你要算电费,算显卡,算维护模型的支出,几十万到底是多少十万呢?
如果算成本的话,买 api 应该大大划算过自己搞
自己部署的两个优点是:
- 数据隐私
模型微调
至于部署的机器要求,每个开源模型都写得清清楚楚,没必要来这里问,自己一搜就都能知道。
另外现在有非常多的量化部署(优化 GPU 显存占用),可以减少 GPU 的需求如果没有隐私需求,自己部署很难做到比 API 便宜。毕竟现在大模型领域全是热钱,大家都在烧 vc 的投资,API 实际上在按成本价甚至亏本卖。
你需要的是 RAG+本地部署的大模型
最多最多,你需要的是本地部署+微调+RAG
感觉你需要先补补课,补充一下基本知识再来做选型
楼上的各位 sorry 是我认知浅了。
感谢各位的答疑解惑
同等规模的只有 deepseek 是开源的
你看看如何本地部署满血 deepseek 就行了
目前看来,OpenAI 已经被认作 AI 的最前沿,不过对比完发布会后,感觉 Google 的软硬件结合明显更好一些。你认为呢? ps:希望尽快更新安卓的 AI core 压…
最近有一个需求,同时面向国内和国外用户,哪家的云服务器国内外都可以流畅访问呢?阿里云香港?考虑到国内政策因素,AWS 之类的是不是不够“稳定”? 这需求建议还是考虑多地部署+…
联发科的 cpu 还影响 root 刷机吗? 刚在店里溜达一圈 刷了刷网页 简单体验 对比了下 50 和 40s 的屏幕 个人目前感觉是比 40s 强 尤其是屏幕。不过确实如…