V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
Vesc
V2EX  ›  NAS

PVE NAS 方案问题

  •  
  •   Vesc · 22 天前 · 3104 次点击
    目前我用的是正版 unraid 已经正常运行几个月,没重启过
    现在想换 PVE 有几个问题
    ·换到 PVE NAS 系统的选择
    ·换到 PVE 硬盘都直通给 nas 吗?
    ·换到 PVE 后 QB jellyfin 这些都装到 nas 系统中吗?因为硬盘直通给 nas 了,还是通过局域网共享出来,qb jellyfin 装到另外的虚拟机里面,但这样是否会增加局域网的带宽压力?目前局域网是 2.5G
    48 条回复    2024-12-06 11:38:22 +08:00
    Quaan
        1
    Quaan  
       22 天前
    1.可以继续使用 Unraid 开心版,Truenas 也是不错的选择
    2.除系统盘外都可以直通
    3.如果使用 Truenas 建议分开,带宽压力不太大;
    totoro625
        2
    totoro625  
       22 天前
    1 、看习惯,推荐继续 unraid ,或者 dsm ,习惯 linux 命令行可以直接 Debian
    2 、推荐直通,用 nas 系统管理,PVE 管理硬盘有操作门槛
    3 、推荐安装在 nas 内,便于使用和管理
    独立的虚拟机不会增加局域网压力,走的是 PVE 内部通信
    Vesc
        3
    Vesc  
    OP
       22 天前
    @totoro625 感谢大佬
    tenl
        4
    tenl  
       22 天前
    我的一个方案是直接使用 pve 当 nas 。
    主系统就是 pve ,文件存放 zfs ,这个 zfs 就是 nas 存放目录。刚好 pve 支持 zfs ,完美解决。
    对 pve 尽量少修改,提高系统稳定性,各种服务通过 lxc 提供。
    一个 alpine 的 lxc ,把 zfs 目录挂载到 lxc 中,选择 alpine 的原因是小巧,这个 lxc 安装 docker ,提供各种服务。
    一个 debian 的 lxc ,安装 jellyfin ,同样挂载影视目录到 lxc ,同时把显卡也挂载到 lxc ,方便解码。jellyfin 有官方支持 debian 系统,所以安装非常方便。
    建立一个 lxc ,挂载需要共享的目录,提供 smb 和 nfs 共享
    各个 lxc 可以单独备份,感觉非常方便,直接挂载目录,走的内部通讯,速度也非常快。
    Vesc
        5
    Vesc  
    OP
       22 天前
    @tenl pve 直接管理硬盘不是不好做迁移吗
    tenl
        6
    tenl  
       22 天前
    你直通硬盘和直接管理硬盘不是效果一样的吗?换 nas 系统的话,都是要迁移的,除非你 unraid 上就用 zfs 了,那样直接导入就好。
    直通硬盘后可以用 truenas ,对我来说,truenas 的优势是管理 zfs 界面比较好,直接用 pve 的话,基本上是用 zfs 的命令行来管理的。
    Ploter
        7
    Ploter  
       22 天前
    提个醒,如果想要直通 Sata 控制器给 NAS 系统的话,你的 PVE 得安装在 M2 固态硬盘上(非 Sata )。
    Ploter
        8
    Ploter  
       22 天前
    > 换到 PVE 后 QB jellyfin 这些都装到 nas 系统中吗?因为硬盘直通给 nas 了,还是通过局域网共享出来,qb jellyfin 装到另外的虚拟机里面,但这样是否会增加局域网的带宽压力?目前局域网是 2.5G

    建议新建一个 debian 虚拟机装这些,然后 NAS 共享存储出来。
    至于局域网,你完全可以在 PVE 内建一个虚拟网桥,速度看 CPU 性能,我 i3-8100t 的话 28.7 Gbits/sec 。
    jeblove
        9
    jeblove  
       22 天前
    之前也有 PVE+其它 NAS 系统的想法(还没实行)
    前天 unraid 升级,因为网络问题下载失败,于是想重启一下,结果验证文件有问题,进不去系统。身边没电脑,幸好有 usb 转 typec ,u 盘插到手机上覆盖下文件。
    有点狼狈的,感觉如果有个比较稳定的 PVE 作为底层,可以避免很多这些问题。

    不知 unraid 为什么一直坚持单个 u 盘作为系统盘,稍微有点异常就重启后开不了机; truenas 可以 ssd 作为系统盘外加 u 盘作为后备
    chevalier
        10
    chevalier  
       22 天前
    我就是用的 PVE ,PVE 上安装了 OMV 、Windows 和 Linux

    PVE 的系统安装在 M.2 固态上,六个 SATA 口通过 SATA 控制器都直通给 OMV
    hxtheone
        11
    hxtheone  
       22 天前 via iPhone
    我是 pve 装 m.2 硬盘, sata 都直通给虚拟机的黑裙管理, 软硬件有升级的话群晖可以在线重建存储是真心方便. 再共享出 smb 和 nfs, jellyfin 装到了 lxc 的 debian 里, 开显卡直通做硬解
    Vesc
        12
    Vesc  
    OP
       22 天前
    @Ploter #7 PVE 的安装盘不能直通
    Vesc
        13
    Vesc  
    OP
       22 天前
    @Ploter #8 我目前用的是 12500T
    Vesc
        14
    Vesc  
    OP
       22 天前
    @jeblove 或许是因为用 U 盘可以省一个硬盘位吧
    esee
        15
    esee  
       22 天前
    @tenl lxc 有个不好的东西就是无法快照...
    Vesc
        16
    Vesc  
    OP
       22 天前
    @chevalier qb jellyfin 这些是装在 omv 里面的吗?还是另外的虚拟机
    Ploter
        17
    Ploter  
       22 天前
    @Vesc #12 是的,所以我的 PVE 是安装固态硬盘上,直通 Sata 控制器给 TrueNAS ,再建一个 Debian 虚拟机部署服务。
    sinORcos
        18
    sinORcos  
       22 天前 via iPhone
    我现在也是用 unraid ,总体来说蛮顺手的,不满意的就是非要用 u 盘启动,不懂这个逻辑
    Vesc
        19
    Vesc  
    OP
       22 天前
    @sinORcos 感觉 unraid 虚拟机放固态不太方便
    sauyjoird
        20
    sauyjoird  
       22 天前
    我是固态装 pve ,pve 上再装 TrueNas 虚拟机,将 sata 控制器直通给 TrueNas, 其他服务用 lxc 启动一个 debian 容器来启动,这些服务还是在固态上的。
    chevalier
        21
    chevalier  
       22 天前
    @Vesc 都可以,这些软件都可以访问网络磁盘。我比较粗暴,装了个 Windows 虚拟机,专门挂迅雷网盘一类的下载
    qpwo005451mark2
        22
    qpwo005451mark2  
       21 天前
    还想继续使用 unraid 并且选择 PVE 作为虚拟化底层,同时 unraid 提供 NFS/SMB 挂载给 PVE 的话需要注意一个问题,unraid 文件系统 SHFS 本质是 FUSE ,PVE 对其提供的 NFS 共享支持性不是很好,如果你开启缓存及 mover ,那么 PVE 的 NFS 共享会在缓存执行 mover 后报错,提供共享不可用,500 错误,不使用缓存也概率会有问题,unraid NFS 这边会出现一旦掉线有概率恢复连接以后也 PVE 同样存储池报 500 错误的问题,需要手动 umount 才行,至少 unraid 11.6 还是这样的
    Vesc
        23
    Vesc  
    OP
       21 天前
    @qpwo005451mark2 unraid 只能装在 U 盘里吧?虚拟机能装 unraid 吗
    Vesc
        24
    Vesc  
    OP
       21 天前
    @qpwo005451mark2 unraid 只能装在 U 盘里吧?虚拟机能装 unraid 吗
    @Ploter #17 那 TrueNas 的作用就是存储池和共享吗?
    ilvsxk
        25
    ilvsxk  
       21 天前
    我是 pve 上用 truenas 做存储,debian 服务器用 docker 做应用层,通过 nfs 和 smb 共享数据,不推荐折腾 truenas 做应用,很麻烦,浪费时间。
    lxc 和虚拟机,推荐虚拟机,简单方便稳定不用折腾。
    Vesc
        26
    Vesc  
    OP
       21 天前
    @ilvsxk 这样话 docker 中的 jellyfin 如何访问 truenas 的共享呢
    Ploter
        27
    Ploter  
       21 天前
    @Vesc #24 还有计划任务、Rsync 任务、SMART 测试、云同步任务。
    TrueNAS Core 个人用下来作为 NAS 系统还是够用的,你可以先电脑起个虚拟机装来试试,毕竟只有自己上手了才知道顺不顺手。
    Ploter
        28
    Ploter  
       21 天前
    @Vesc #26 truenas 通过 PVE 虚拟网桥走 NFS 共享给 debian ,再挂载给 jellyfin 。
    https://github.com/firemakergk/aquar-build-helper
    这个是我部署时主要参考的方案,可以看看。
    Vesc
        29
    Vesc  
    OP
       21 天前
    @Ploter #28 好,感谢大佬
    ilvsxk
        30
    ilvsxk  
       21 天前
    @Vesc #26 nfs 共享给 debian ,debian 上再挂载给 jellyfin ,和 #28 一样,我是连 docker 的所有配置都存放在了 nfs 的共享上面,debian 就纯提供一个运行环境。

    推荐用 autofs 来自动挂载 nfs ,方便,https://wiki.archlinuxcn.org/wiki/Autofs#NFS_network_mounts
    XunzhiJun
        31
    XunzhiJun  
       21 天前
    @esee mount point 别配置成宿主机上的文件目录,全都用 zfs 或者 lvmthin 就可以快照,你可以在 webUI 里添加一个 mount point 看看情况,storage 选 zpool 的情况下,zfs 默认是 filesystem 模式,会建一个名叫 subvol-<VM ID>-disk-<num>在 zfs 的挂载点,宿主机也能访问上面的文件。这个 zfs 的名称似乎不能改成别的格式,否则快照就不认,报错。
    kaedeair
        32
    kaedeair  
       21 天前
    我 pve 起 docker 服务集群,homeassistant 用虚拟机跑的,稳定运行 200 多天了,存储池方案是 mergerfs+snapraid
    montaro2017
        33
    montaro2017  
       21 天前
    最后一个问题,安装虚拟机的话,不会增加局域网带宽压力,但是会增加 cpu 压力,建议安装到 NAS 系统里
    greenskinmonster
        34
    greenskinmonster  
       21 天前
    我的方案,PVE 宿主机直接把目录设置成 mount entry 到 lxc 容器,虚拟机的话就用 NFS 挂载。
    感觉没必要再装个 TrueNAS 之类的,需要 Raid 就在在 PVE 做,也不需要直通硬件到 VM 。

    修改 lxc 配置文件即可,用 mp 方式的话,会导致 lxc 容器不能快照,这个方式不影响。
    lxc.mount.entry: /data mnt/data none bind,rw 0 0
    Vesc
        35
    Vesc  
    OP
       21 天前
    @ilvsxk #30 NFS 共享如果使用 nastools 刮削的话硬链接可以正常用吗?
    qpwo005451mark2
        36
    qpwo005451mark2  
       21 天前
    @Vesc #23 我是在 PVE 里把 U 盘直通给 unraid 虚拟机和物理机几乎一样,unraid 也有用硬盘启动的方法,和黑裙的 SATA 启动一样吧,得自己根据教程修改下,正版我觉得直接直通一个 USB 口就行了,定期备份 USB 启动盘~
    ilvsxk
        37
    ilvsxk  
       21 天前
    @Vesc #35 可以的,只要不是跨存储池硬链接就没问题,我试过,硬链接工具我用的是 https://github.com/likun7981/hlink
    ilvsxk
        38
    ilvsxk  
       21 天前
    @greenskinmonster #34 主要是 truenas 有图形界面,集中管理操作,备份还原都方便,写配置过一段时间就忘了。
    anonydmer
        39
    anonydmer  
       21 天前
    昨天在我 x86 的笔记本上用虚拟机装了个 TrusNAS ,2G 内存竟然扛不住啊,nas 要这么高的资源么?
    ilvsxk
        40
    ilvsxk  
       21 天前
    @anonydmer #39 不光 TrueNAS ,只要使用 zfs 文件系统的 2G 内存都不推荐用。
    greenskinmonster
        41
    greenskinmonster  
       21 天前
    @ilvsxk 我是用 PBS 备份容器和 VM ,有台闲置的服务器装 PBS 系统,每天夜间定时开机,执行备份。

    PVE 系统分区我用的是 LVM ,使用 fsarchiver 备份。
    https://www.system-rescue.org/lvm-guide-en/Making-consistent-backups-with-LVM/
    anonydmer
        42
    anonydmer  
       21 天前
    @ilvsxk 所以我看大家这 nas 上又是 TrueNAS 、又是各种虚拟机、各种容器的;那这 nas 的配置都堪比一台电脑了啊
    ilvsxk
        43
    ilvsxk  
       21 天前
    @greenskinmonster #41 哦哦,我说的是 nas 系统上的各种配置的备份,TrueNas 可以直接导出你的所有设置项,重装系统后还原配置就行了,不用再去配置 smb,nfs,webdav,ssh,crontab,用户和用户组这些东西。
    ilvsxk
        44
    ilvsxk  
       21 天前
    @anonydmer #42 只要是个 nas 不都是电脑?
    Vesc
        45
    Vesc  
    OP
       21 天前
    @anonydmer #42 我的 nas 主机 40T 硬盘 32G 内存
    wangpengfei4113
        46
    wangpengfei4113  
       21 天前
    问题 1: 我没直通
    问题 2: QB JF 单独搞 VM 装 docker ,PVE 官方不推荐 docker 在本机以及 lxc
    问题 3: 硬盘我是直接 ZFS 开了 NFS 其余需要的直接 NFS 挂载即可,不用直通给任何设备任何机器。
    问题 4: 带宽问题感知不大,不用考虑
    takanashisakura
        47
    takanashisakura  
       19 天前
    借楼询问 V 友们,对家庭 nas 用 linux 发行版 + docker 服务 和 pve + linux 虚拟机 + 虚拟机内启 docker ,这两种方式的主要区别是在?因为不太确定为什么需要在 linux 外面再套一层 pve 虚拟机系统为基础。
    Vesc
        48
    Vesc  
    OP
       19 天前
    @takanashisakura 套一层 PVE 开虚拟机和硬件直通更方便,你可以用 pve 虚拟 truenas ,把硬盘交给 truenas 管理,然后通过别的虚拟机跑 docker
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5259 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 08:12 · PVG 16:12 · LAX 00:12 · JFK 03:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.