下载 huggingface 大模型有什么好方法吗
也用了 hf-mirror.com/
但这个基本下几 G 就限流了
直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本
没完成就没速度了
大家有啥好方法吗, 现在模型太大了, 都是几十 G
限流的话断点续传就好了
modelscope.cn +断点续传
hf-mirror cli 断点续传
你都能上 v 站了, 翻墙还不利索?
代理+直接 wget
挂代理 + github.com/bodaay/HuggingFaceModelDownloader
可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.
pip install "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
上个优质科学网络 tg:wavevwe
这种大文件下一会儿就限流的, 除非不停换节点
代理呢。。。。
国外 vpn 都随便 1t 流量,敞开下啊
梯子问题,换一家。
#11 我用的 jms 从来不限流
国内有阿里的魔塔
modelscope.cn/
基本的 model 都有,支持全速下载
好像可以复制下载链接用迅雷下载
好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
直接去 modelscope 下载。 一般都有人分流。
我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
可以开类似联通 9929 这样的,国外下载很快
住在城中村的公寓里,一年停电好几次,真怕硬盘哪天真会崩,还是给配个 ups 吧。 天钡 5825u 那款 4 盘位 nas ,机械硬盘休眠,系统加俩 nvme 硬盘功耗就在…
有一个老项目,是用 .NET Framework 4.0 开发,在 web 页面调用并运行在 windows 上。 现在有一个需求:需要迁移到 arm 上运行。 我搜索了一下,…
背景: 算是创业公司(背后是上市公司集团,同一波高管,资金目前 OK ),但事业部是亏损状态,目标"上市" 之前调整过一波优化加降薪,有想到这一天早晚会发生在自己身上,没想到这…
合速度