跨国数据传输方案,涉及到网络波动,如何保证数据的一致性,实时性
最近在做跨国的实时大数据相关 flink 任务,有个网络传输问题。数据源是在泰国发到国内阿里云,最早采用 kafka 外网直连,时断时续。后来在泰国搞了个 udp 的中心数据 server ,再由 udpserver 发送到国内。还有几个问题:
udp 端口经常被封
实时性差
数据成倍扩张下的 server 瓶颈
各位有没有类似情况,或者通用解决方案。
落地香港
然后中港专线?
是租用云服务商的机器吗?联系他们试试呢?一般来说他们有自己维护的链路
泰国的话,用香港 CN2 线路中转,或者 IPLC 穿透,便宜点你就 udp over tcp 了
可以通过 multipath 去做?
我们客户不少跨国公司,跨地区传输很多数据,一般都是走专线 VPN
腾讯云的 anycast ,但是要大公司才可以申请。如果小公司的话就用 ucloud 的 pathx
看你数据源是不是集中,如果集中的话,直接走专线比较好。 不集中的话,看数据的大小,小的数据注意校验,大的数据看能不能分割之类的。
腾讯云 aia 网络
数据上云场景: www.alibabacloud.com/help/zh/doc-detail/51655.htm
或者直接上传到 OSS 上。
专线 VPN 正解,其余别折腾了;
所谓的中转,udp over tcp 这些都是为了防止被 GFW 封了;
UDP 常用的话也会被封端口,只能一直换着端口用。
想无后顾之忧,可以办理专线 VPN ,云服务商有提供,但涉境外业务需要报备。
以前异地联网,考虑的是技术上的事情;
现在异地联网,首要考虑就是 GFW 的事情。
阿里云的话,有 CEN 和 SAG 能适配相应场景
www.aliyun.com/product/smartag
www.aliyun.com/product/cbn
sd-wan 专线啊,企业还是要用合法的跨境专线的,严格的说不然会有法律风险
1 、目前有带宽保障、稳定且比较经济实用的方案:国内 CEN 先打到 Region HK ,HK 开个 vpn 网关,与泰国 site2site 打通内网,比 sd-wan ( SAG )便宜
2 、2022 年 ali 在泰国开站,方案同上,国内可以直接打到泰国(费用更高),目测泰国几个 carrier 到 hk ( hkix )带宽通畅,估计质量变化不大
纯软件的方案有 kcp 协议( kcptun 作为一个套娃),但是动态扩张上存在的问题比较严重。
至于被封的问题,除了正面迎接监管 and 加钱之外,无解。
不保可用性吗?那不是随便搞。
联系过,老大嫌太贵
肯定要保啊,实时性、一致性都要 T T
现在的大部分数据每条也就两百 KB ,也加了校验,但还是会有延迟特别大的情况,实时性保证不了。。
这个专线成本高了点,之前和阿里云聊过,跨国专线太贵了
想省钱,只能放弃稳定性了...
快 /稳 /宽
三个都要就贵,只要一个或者两个就用另外的换吧
突然发现我自己电脑的数据一直没有做备份处理,万一哪天出现意外就凉凉了,所以想做一下备份。 期间遇到一些问题: 1 、云端备份一般用哪些网盘比较合适,价格尽量便宜一些,但是还是以…
目前使用 R730XD 安装了 esxi8.0 虚拟了两台机器,但是由于功耗高噪音大想拆分成两个小的机器。 这里还有一个坑就是我用 730mini 阵列卡组的 raid0 和 …
看了一些国外一些大佬创业初期都是自己做了些小东西卖给大公司,然后作为起始金创业成功,为什么在国内很少出现这些人呢?还有国内公司如果看到一个人做的东西比较好,一般第一想到的是让自…