下载 huggingface 大模型有什么好方法吗
也用了 hf-mirror.com/
但这个基本下几 G 就限流了
直接 huggingface 下载也是比较慢的, 反正下 7,8G 以上文件基本
没完成就没速度了
大家有啥好方法吗, 现在模型太大了, 都是几十 G
限流的话断点续传就好了
modelscope.cn +断点续传
hf-mirror cli 断点续传
你都能上 v 站了, 翻墙还不利索?
代理+直接 wget
挂代理 + github.com/bodaay/HuggingFaceModelDownloader
可以用 cloudflare workers 跑一个反向代理,github 有现成的脚本
前提是你的网络和 cloudflare 的链接质量得靠谱,有些宽带不行
If you are running on a machine with high bandwidth, you can increase your download speed with hf_transfer, a Rust-based library developed to speed up file transfers with the Hub.
pip install "huggingface_hub[hf_transfer]"
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download ...
有时候下载断流,我刷新一下 hf 的页面,速度就突然有了
上个优质科学网络 tg:wavevwe
这种大文件下一会儿就限流的, 除非不停换节点
代理呢。。。。
国外 vpn 都随便 1t 流量,敞开下啊
梯子问题,换一家。
#11 我用的 jms 从来不限流
国内有阿里的魔塔
modelscope.cn/
基本的 model 都有,支持全速下载
好像可以复制下载链接用迅雷下载
好像就 huggingface 的主域名被墙,反正用 lm studio 下模型直接跑超 ISP 给的带宽,梯子肯定没这速度
直接去 modelscope 下载。 一般都有人分流。
我浏览器下载比较慢,链接粘到 aria2 下载千兆满速,不知道为啥
可以开类似联通 9929 这样的,国外下载很快
前言:午休时想到了不少有趣的问题,这是我思考的其中一个问题,觉得比较有趣就发布出来,要是大家还感兴趣的话,后续我再整理一下别的问题再发出来 声明:由于缺乏生物学的专业知识,有的…
使用 vim 写程序真的很爽嘛 入编程坑一来 用过 vs vsc jb 部分 也经常切换到 vim 想要尝试一些,但发现 vim 会有一些让人难受的点,所以 vim 到现在为止…
主要使用场景是用来异地互相访问电脑的。 zerotier/花生壳/tailscale/netbird 之类的都用了,各有各的问题,都不是太稳定,经常连接不上,所以想预留一种备用…
合速度