下载 huggingface 大模型有什么好方法吗
也用了 hf-mirror.com/
但这个基本下几 G 就限流了
直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本
没完成就没速度了
大家有啥好方法吗, 现在模型太大了, 都是几十 G
限流的话断点续传就好了
modelscope.cn +断点续传
hf-mirror cli 断点续传
你都能上 v 站了, 翻墙还不利索?
代理+直接 wget
挂代理 + github.com/bodaay/HuggingFaceModelDownloader
可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.
pip install "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
上个优质科学网络 tg:wavevwe
这种大文件下一会儿就限流的, 除非不停换节点
代理呢。。。。
国外 vpn 都随便 1t 流量,敞开下啊
梯子问题,换一家。
#11 我用的 jms 从来不限流
国内有阿里的魔塔
modelscope.cn/
基本的 model 都有,支持全速下载
好像可以复制下载链接用迅雷下载
好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
直接去 modelscope 下载。 一般都有人分流。
我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
可以开类似联通 9929 这样的,国外下载很快
这是上次面试中,虽然面试官问我的问题,当时给我问迷糊了。Q:为什么 MySQL 有缓存,还要使用 Redis ?A:MySQL 以前有缓存,但由于命中率不高,在新版本中已经舍弃…
面试官:你好,我们来聊下 Go 语言的 map 。首先,请聊下 Go 语言的 map 是不是并发安全的? 应试者:不是的。Go 语言的 map 不是并发安全的。如果在多个 go…
主要没有备案,所以服务器用的 HK 的腾讯云。 站点是前后端分离。 但 HK 的只放了个前端页面,后端 api+数据库是在国内服务器,这样国内用户访问速度回快一些吗? …