这是一个创建于 359 天前的主题，其中的信息可能已经有所发展或是发生改变。
场景描述
- 文件（主要是视频）大小在 2 - 30G 之间，平均大小在 12G 左右一个，目前每天大约有 20 个左右该大小文件被创建，也就是 240G 左右
- 文件需要被保留至少 30 天，也就是最小存储空间需要 240G * 30 = 7200G ，考虑到冗余需要 10T 左右空间
- 该文件需要在创建完之后提供给异地下载（批量或并发下载），或者通过某种方式传输给异地（跨省）
遇到的困难
-
存储文件成本较高
- 如果使用 OSS 、COS 等方式，10T 一年存储费需要 ￥ 8700
-
下载（传输）成本较高
-
走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
- 回源流量费用（从 CDN 回源到 OSS ），240G/天 * 0.15 元/G * 365 天 = ￥ 13140
- CDN 流量费用，240G/天 * 0.2 元/G * 365 = ￥ 17520
-
走 CDN 下载（直接 OSS 下载更贵）需要支付两部分费用
-
如果存储在本地
- QQ wx 等不支持如此大的文件传输，对传输总流量也有限制
- 家庭带宽上行最多可以到 20M/S 左右，也无法满足文件传输需求（存在多人同时下载），（如果有办法把家庭带宽上行扩大到 100M/S ，勉强可以使用，听说公网 IP 多播可以做到，但是容易封号）
-
如果采购云服务器提供下载
- 大带宽成本天价，不考虑
待解决核心问题
- 最核心的是如何解决文件传输流量问题，存储在本地成本较低，可以接受！
特此求助 V 站各位老师，有没有低成本传输如此大批量文件的方案，感激不尽！欢迎讨论！
 |
1
locoz 359 天前
你直接开多个家宽套餐，在正经渠道下做负载均衡不就好了，为什么要多播呢
|
 |
2
google2020 359 天前
只考虑传输的话，网盘，几十块一个月的会员够了
|
 |
3
PrinceofInj 359 天前
视频文件首先考虑一下编码的问题。不知道你这些文件编码是什么，转成 AV1 可能会有奇效。
|
 |
4
B4a1n 359 天前
阿里云盘
|
 |
5
loveshuyuan 359 天前
网盘，国外大盘鸡
|
 |
6
yishibakaien OP @locoz 一个住宅只能签一条宽带入户吧？另外目前视频都是存储在本地一台家用 PC 上（目前一天大约产生 30G 左右文件，家用带宽还撑得住），多开几个账号需要多个身份吗？可能老哥你的方案是可行的！就是操作起来会比较繁琐！
|
|
7
yishibakaien OP @google2020 我本地传到网盘的速度不行呀！当天出视频，马上就有人来要下载或者传输的
|
 |
8
PhaSelEza 359 天前  2
考虑过邮寄硬盘的方案吗？
|
|
9
yishibakaien OP @PrinceofInj 视频原生是 RMVB ，转码有试过，有点慢，可能我机器 CPU 或显卡 不太行吧，12400 + 2080Ti ，或者我转码的方式不对，需要让 GPU 来转码，我尝试看看
|
|
10
locoz 359 天前
@yishibakaien #6 当然可以签多个，无非就是钱的问题...你又不是明显有问题的那种一次几十上百个弄，20M/s 拉到 100M/s 也就 5 条宽带而已，正常需求。
|
|
11
yishibakaien OP @PhaSelEza 讲究时效，要不然不会这难受
|
 |
12
mason961125 359 天前 via Android
老哥做古早 AV 高清修复的吗（ bushi
|
|
13
yishibakaien OP @locoz 你这个可能是目前最优解了，我明天问问运营商或者宽带二哥
|
|
14
locoz 359 天前
@yishibakaien #6 你可以找运营商客服要求分配个客户经理，让客户经理联系你，然后你直接跟客户经理说明需求就行了，剩下的事情客户经理会帮你搞定的，毕竟人家要赚钱。
|
 |
15
opengps 359 天前
oss 联系下高级客户经理，可以支持快递硬盘
|
|
16
yishibakaien OP @mason961125 蜀黍直接破门按头 -_-!
|
 |
17
mainjzb 359 天前
...上传的能力都不够。。。还嫌网盘你上传不上去。。那没法了啊。只能顺丰了
*网盘可以满足多人同时下载，你只用上传一份 *网盘成本够低 *网盘的上传速度你解决不了，别的网络方案一样需要上传，别谈 cdn 和 oss 了。 所以你要解决的是上传带宽问题。 |
|
18
yishibakaien OP @opengps 我这个体量应该不足以让高级客户经理出马！然后其实就 几百 G ，快递这种方案是不太行的
|
 |
19
Raynard 359 天前
和我们现在做的教育厅的项目需求差不多，
我们是移动的线路，但都是省内，没你这么远 我看你们这个成本，找运营商买线路便宜多了，点对点的专线 |
|
20
yishibakaien OP @mainjzb 是的，目前核心问题就是传输问题，我最后的 **待解决核心问题** 有提到
|
|
21
yishibakaien OP @google2020 能解决上传速度（上行带宽）问题，网盘是个好方案！
|
|
22
yishibakaien OP @Raynard 不是点对点的，是点对 N ，下载的用户可能来自任意地方
|
|
23
Raynard 359 天前
那你这个还一个方案，从生成端 上传 到 idc 机房，用点对点专线。保证速度和时效性。
到了 idc 之后再走正常下载，不用 cdn 。 江苏的 idc 价格便宜，和他们谈谈，v2 好像就有，你找找 |
 |
24
just1 359 天前
不管哪种方案都要从本地出去的，唯一办法就是拉带宽，专线你这点量也不至于
按照每天 300G ，均匀分布 24 小时的话就是需要 2.7MB/s 的速度，接受 8 小时延迟的话就是 8.1MB/s ，上传增强型家宽就可以够，一年 100T 出头，只是得问问会不会达量限速 |
 |
25
Pteromyini 359 天前
你这个全链路瓶颈在上行带宽上，上行带宽问题解决之后其实就是个 nas 的事
|
|
26
Pteromyini 359 天前
另外有一个风险必须考虑：每天 200G+的上行存在宽带被停用的风险，你可以翻一下你的合同，作为服务端是违反家宽使用用途的，运营商如果想整你有理有据
|
|
27
yishibakaien OP @just1 有这种上传增强型吗？其实上传到网盘让对方下载这个方案很好，现在苦于带宽问题！
|
 |
28
gamexg 359 天前
bt ？
除非是邮寄硬盘等方式， 只要是网络传输，那么都需要最少上传一次，都要加大宽带。 我看是 1 到 n ，那么 p2p 是比较好的方式。 设置好做种策略，源只用上传一次 |
|
29
yishibakaien OP @Pteromyini 感谢耐心地帮忙分析！目前确实瓶颈就在上行带宽，如果我只是传输文件 或者干脆上传到网盘应该不至于被整吧！这个我明天咨询清楚，谢谢！
|
|
30
yishibakaien OP 我想到一个方案，能不能直接让产生的视频通过 api 直接写在网盘啊（视频的产生类似监控实时录制的），这样就不经过我本地了，直接起飞，没有烦恼
|
|
31
yishibakaien OP @gamexg p2p 没整过，比较陌生，邮寄是万万不可行的
|
 |
32
wu67 359 天前 via Android
问问运营商，搞那种大带宽的套餐，记得沟通好/相当于提前报备，然后你整 nas 就行，你正规用途不用怕，直接说就可以啦
|
|
33
gamexg 359 天前
@yishibakaien bt 或 电驴
以前网络宽带不高的情况下，1 对 N 分发文件的目的设计的 |
|
34
yishibakaien OP @gamexg 嗯，这个不管怎么样都要把我本地的视频传上去才行吧，依然不能解决问题，我本地上行带宽太小了
|
|
35
yishibakaien OP @wu67 好，看来还是要咨询运营商，家庭带宽能解决的话那就完美了！
|
 |
36
xtreme1 359 天前
友情提示: 上海联通家宽, 每日超过 100GB 上行流量, 且月上行流量到达 4000GB 的, 触发局停, 签署不使用 PCDN 或 BT 的承诺书后解封, 第二次触发局停后清退并进入黑名单
|
|
37
yishibakaien OP @xtreme1 感谢提醒，看来这里面还有很多坑，运营商是不会轻易让你薅到的
|
 |
38
yufeng0681 359 天前
买三个二手安卓手机，支持 5G 的。
买 5G 的流量卡三张。 具体看你当地哪个运营商连网盘上传速度最快。 把要上传的视频分别放三个手机的云盘 app 探测目录下，自动上传 1 、设置云盘 app 只能用移动网络，这样就不会用局域网的 wifi 上传，堵在宽带出口 2 、三个手机插上电，放在公司不怕被偷 |
 |
39
Actrace 359 天前
钛盘可能比较符合需求，虽然最长只能免费 7 天。
|
 |
40
pxiphx891 359 天前
我觉得你这个场景，网盘是最好的。一天 240G ，24 小时上传网盘，一条宽带就够了吧？另外你用 handbrake 编码试试，用上 gpu ，编码成 h265 ，应该能压缩不少体积。
|
 |
41
lsk569937453 358 天前
可以换个思路。
1.一天 20 个文件每天都会有人下载吗？直接用播放器在线播放行不行？需要留存的在下载。 2.如果是监控视频的话，可以把静态的部分直接处理掉。 |
 |
42
june4 358 天前
视频是啥用途，压缩还是大有可为的，有可能变成原来的 1/10 大小，多买几个千元小机并行压就行。且 frame rate 要求不高的话把 fps 改低成 16 什么的看上去也不差，但文件小巨多。
|
 |
43
hullhutt 358 天前
别人要下载,你就必须解决上传问题.
移动的 100 兆上传千兆宽带一年也就三四百.再加 30/月,上传变 300 兆. 可以用一些同步工具,goodsync 类似的. 或者 bt 做种,这种比较好,缓解上传压力 |
 |
44
DT27 358 天前
美国的大盘服务器
|
|
45
Pteromyini 358 天前
@yishibakaien #29 能传网盘最好，直接从家里拉数据万一被风控就说不清了，传网盘还有的解释，我自己传网盘属于个人用途，直接分发没法解释
|
 |
46
gogogaga123 358 天前
别听他们的 就是卡车拉硬盘 是目前最快的超大数据版搬运传输方式，不信你自己搜 [卡车拉硬盘]
|
 |
47
xqk111 358 天前
NAS ？
|
 |
48
blankmiss 358 天前
百度网盘（天翼云盘 Alist 直链下载） + 移动宽带（移动宽带 有的套餐上传可以达到 200M ，电信已经锁死 30M 了）
|
|
49
blankmiss 358 天前
如上我所述 如果百度云盘你就得充 SVIP 不然容量不够，如果是天翼云盘你就得买 30T 的账号。然后搭建一个 alist 让天翼云盘承担下载， 再一个就是移动宽带，移动的上传带宽很大，天翼云盘 百度云盘这种上传是不限速的
|
 |
50
CaptainD 358 天前
我们公司有类似需求，买的美西的实体服务器托管，上下行千兆，你需要的配置估计每年一万多人民币吧，不需要担心流量问题，只是延迟会高一点，对于下载文件和远程开发来说问题不大
|
 |
51
forvvvv123 358 天前
我之前在某个大厦的电梯里看过运营商的广告，有上行增强型的线路，面向的是政府和企业的宣传需求，比如要搞网络直播宣传之类的；
所以建议还是联系下本地的运营商客户经理，他们遇到的场景应该比我们多很多； |
 |
52
LinePro 358 天前 via Android
如果可以公网拉流的话，你可以考虑开个阿里云北京的 ECS 服务器，整个阿里云盘，部署 Alist 挂载阿里云盘并开启内部上传，把视频流拉到服务器本地后用 Alist 上传到阿里云盘。一般 ECS 服务器购买时标注的带宽指的是公网上传带宽，公网下载带宽是 100Mbps 不限速的。开启内部上传后上传走的是阿里云内网，也同样不限速。这样就解决了带宽问题。
|
 |
53
Greatshu 358 天前
感觉是需要存档的监控录像
传输可以用 P2P 同步工具，Resilio Sync ，Syncthing ，微力同步之类。宽带可以多开几条分流，三大运营商各一条避免一锅端。 有公网 IP 或者 ipv6 可以 VPN 组网，让异地自己来下载，千万别公网 IP 搭 web 网盘可以作为兜底，一来大规模上传下载可能会限速，至少曾今百度 SVIP 干过，我一天下载了 1.3TB ，速度降到 100KB/s ；二来体现不出工作量。 |
 |
54
expy 358 天前 1
现在什么流程还会用 rmvb ，你直接换成 x264/x265 都能保持清晰度并省很多码率。
|
 |
55
somebody1 358 天前
@yishibakaien #21
我刚刚测试了阿里云盘，上传大概是每秒 10-15M ，不过我是在公司测试的，公司是家用的宽带，但是上传更大一点。我没开会员 网盘是最优解，12G 一个文件，上传到网盘大概是 20 分钟左右，也就是之后 20 分钟后，就可以提供网盘的链接供客户下载了。 费用只有网盘的费用和家用宽带的费用，宽带上传要足够才行。 |
 |
56
adoal 358 天前
如果你有这么大的数据量，但给你带来的收益让你连一年不到 5 万的都觉得存储+下载费用都觉得太高，那是不是要考虑一下这个业务的价值，换个赛道了？
|
 |
57
niubee1 358 天前
按你这个需求 你是要做影视剧分享？
|
 |
58
ETiV 358 天前 via iPhone
换编码器+1 ，使用更高效的编码器可以在保持画面质量的同时降低码率，显著减小视频文件体积。
（ rmvb 感觉都是上个世纪的东西了…） 我娃幼儿园的直播视频，一天 10 个小时，2GB 不如你说说自己的业务场景，说不定当个 UP 主，可以直播推流到斗鱼什么的，然后开启直播回放功能… 你只需要有上传带宽就行了，视频文件的存储和点播都靠直播网站帮你做了… |
 |
59
shimanooo 358 天前
根据这个网站的测试, https://rigaya.github.io/vq_results/
Intel A 系列显卡 HEVC 硬编码质量最好. 其次是 12 代酷睿核显. (软压肯定不用看了. AV1 硬编码目前也没 HEVC 好) |
 |
60
zjsxwc 358 天前
300 元包年开通百度云盘一个会员有 5T 空间，
楼主要 10T 就开通 2 个百度云盘会员。 github 扒个使用百度云盘的接口 sdk 集成到你客户端， 搞定 |
 |
61
Eagleyes 358 天前
巨量数据异地传输，请快递硬盘
一辆满载硬盘的卡车的带宽，是任何光纤都无法比拟的。 |
 |
62
JuSH 358 天前
试试联通、电信的政企服务，比如联通云宽带 https://gec.10010.com/jl/product/1001009
可以定制宽带服务 |
 |
63
icyalala 358 天前
等一下。。RMVB ？这么老的编码，是怎么生成的？
|
 |
64
Huelse 358 天前
压缩分包处理，比如每个包 256M ，写个工具分批上传到多个云盘或 OSS （最好是支持接口的）并生成记录文件，后续根据记录文件下载或继续分发。
|
 |
65
tuotu 358 天前
@yishibakaien #6 一户可以多条宽带的
|
 |
66
wyx119911 358 天前
@yishibakaien #30 用对象存储是可以的，对象存储都支持流式上传。但像百度网盘是不支持流式上传的。
如果用云厂商的对象存储，可以同时采购他们的 CDN 服务，同一个厂商的 CDN 到对象存储是走的内网（例如腾讯云的 cos + cdn 方案，免回源流量费。 这样只需要接入流式上传 api 就可以了，方案简单可靠，也省去了你本地拉宽带的费用和 cdn 回源费用。 |
 |
67
kulous 358 天前
移动宽带还送网盘，4T
|
 |
68
byte10 358 天前
本地上传网盘慢？那你上传到 OSS 、COS 不也一样慢吗? 不管是什么方案都是要本地上传宽带快才行的。
拉几条宽带分包后上传吧，最优解了。用天翼网盘 可以拉满速度的，10T 的账号 才 250 元，再开个会员完事。 |
 |
69
alfawei 358 天前
直接办理直播宽带，大上传的
|
 |
70
JavaGym 358 天前
https://wormhole.app/ 这个就能解决了 最大支持 10G 文件传输即使文件流 可以设置分享条件 实现阅后即焚的效果 没有上传完对方也能通过分享链接下载
|
 |
71
c2const 358 天前
量还不够大，不然邮寄硬盘就行了 :)
|
 |
72
lakehylia 358 天前
网盘+运营商上传套餐
|
 |
73
InDom 358 天前
🤔 一天创建 24G 数据，如果是多个用户都要下载，是不是 P2P 方案更好？
普通家宽一天 100G 上传还是能做到的。 |
 |
74
Kinnice 358 天前
你需要的只是来个猛的 GPU 转码
|
 |
75
guazao 358 天前
打电话口述二进制
|
 |
76
wolfan 358 天前
你这个是监控视频吧，为什么要自己麻烦。
如果不涉及保密需求，你找找当地（国内）的网络服务商（电信、联通、移动、广电），他们是有网络监控服务的，多头好像只是安装价加设备费。 缺点就是只能使用他们提供的设备，如果你已有设备就麻烦点。 |
 |
77
cover 358 天前
热数据（网盘未上传完部分）走宽带或者 OSS +CDN ，冷备部分（ 7 天）走网盘，混合模式走一波，应该能节省不少成本
|
 |
78
hefish 358 天前
我觉着传输问题。。。还是买几个 U 盘或者 ssd 快递过去吧。也许更快些。
|
 |
79
maizero 358 天前
1 、没讲清楚数据多地同步的时效需求，如果是 T+1 ，那么总容量/时效=时效内上行带宽需求，评估下就可以知道 30M 家庭上行是否可以满足，如果不行，100M 的直播宽带是否可以满足？（电信 599 一个月，之前 299 ）；
2 、30 天的存量不超过 20T 的话，TO C 的阿里云盘都可以解决了，可以解决多点分发的下载需求； 总体思路是数据源》分发源的带宽 是否满足指定容量同步时效需求； 分发源的下行带宽，是白嫖 TO C 服务，还是选择商业化——取决于多端分发对端下行的带宽和时效需求； 核心问题解决了，其他无非方案选择罢了。 |
 |
80
8E9aYW8oj31rnbOK 358 天前
楼主没想到过开个百度网盘的会员吗？一个上传，几个下载，多开几个会员。一个会员一年也就二百左右吧。
|
|
81
maizero 358 天前
我毛估估了下 每天 240G 也就是一个小时 10 个 G 要上传 家宽 30M 的上行应该是满足不了的
理论需求大概是打满 22.75M/s ，你得有 50M 以上的上行 |
|
82
maizero 358 天前
如果你拉不到便宜的 100M 直播宽带，商宽太贵，有个不违规的办法就是同一个地址拉二宽。
电信 199 以上的融合宽带可以 30 一个月拉二宽，下行 300M （上行 30M ） 找师傅在楼道的光纤做分光——如果你入户是光纤入户的话，那么同一个地址安装 2 个家宽问题不大 然后在你家里一个光纤做分光 那么你有 2 条宽带 1000M 30M 上行，300M 30M 上行 不需要多拨的情况下，2 个 wan ，也不用聚合，分配给 2 个客户端，2 个账号往网盘写入 240G 24 小时内上传完毕 完全没问题 |
 |
83
mxT52CRuqR6o5 358 天前
花钱给宽带加上传不就好了，然后用网盘
|
 |
84
penissponge 358 天前
Resilio Sync
|
 |
85
Admstor 358 天前
奇怪别扭的解决方案必然来自奇怪的需求
你还是说说到底为什么需要这种操作吧 如果是某楼提到你是可能做视频修复，修复好的视频传输给客户 那么网盘其实才是最好的 另外 240G 这个体积都能装 10 部 4K 电影了，你编码是不是考虑更换为更高效的编码，按你的配置完全不是问题啊 |
 |
86
cailiang 358 天前
我可以让你使用云的成本大幅下降，想了解一下的话可以加我 v: d2R3eHpoMDgwOQo=
|
 |
87
kangxt 358 天前
不晓得 steam 这个方案可行吗
|
 |
88
tom8 358 天前
|
 |
89
nekoneko 358 天前
1 对 N 的话
无论如何, 上传是你绕不过去的槛. PT+订阅, 能有效减少自己主机的上传量 |
 |
90
SenLief 358 天前
你需要的是上传，无论哪一种方案你都是要上传，所以很简单，你直接问宽带那边上传多少钱就完事了。分发可以用网盘。
|
 |
91
jonty 357 天前
存储不知道，但是低成本大容量传输的话是卡车/飞机 物理运
|
 |
92
b2504420230 357 天前
不是，我算了一下。你这对上传带宽要求也不高啊。同时异地备份呗，就是数据同时在两个设备上同时存储。算了一下，一小时 10G ，差不多上传带宽 30Mbps 就够了啊，正常家宽就够了。然后走 ipv6 公网，不是妥妥的吗。
|
 |
93
whp1473 357 天前
本地弄个 8T 硬盘存储好，然后做个任务不断同步至备份盘，1 个主写入，其他做备份盘，谁需要下载时 1000 块钱顺丰邮寄过去，1 天就到了。8T 下载速度 2M 要一个月，但是顺丰只要 1 天。
|
Select Language