耳机网-耳机大家坛

标题: 将hifi网播系统进行到底，nas+Daphile/Roon+HQPlayer 一体化终局 [打印本页]

作者: 处理器 时间: 2023-7-21 09:50
标题: 将hifi网播系统进行到底，nas+Daphile/Roon+HQPlayer 一体化终局
本帖最后由处理器于 2023-7-21 19:54 编辑

年初的时候规划把家里ubnt千兆网络升级到万兆。首先，升级到万兆添加几台交换机即可。但手头的主力工作设备都是千兆，之前规划桌面系统全部用雷电3/雷电4组万兆网，经过实际测试“这个方案不可行”，英特尔给用户挖了一个巨坑。经过认真研究：

1、桌面应用NAS升级万兆意义比较大，所以，优先考虑升级NAS，筛选威联通QNAP TVS-h1688X，但高性能的万兆成品NAS不便宜，正好手上有一台主机NUC9 Xeon E2286 + 64G ECC内存 + vPro远程管理，查阅与QNAP TVS-h1688X主板配置相当，并且原装板载3个nvme插槽，双雷电3，可以PCIE*16扩展，这台设备作为NAS硬件非常合适。

2、恰逢今年SSD Nvme硬盘价格下跌，盘了两块西部数据的nvme：4T sn750 + 2T sn850 加上之前两块1T sn850，组成8T纯固态nas，另外一台群晖nas做机械备份盘。

3、NAS操作系统。市面上各种nas系统非常多，经比较，购买了unraid pro正版。

4、虚拟机。unraid创建ubuntu 22.04 LTS虚拟机 + 显卡直通 + CPU 核心直通/隔离，安装HQPlayerEmdeded5.0.3。

5、docker。unraid docker容器安装LogitechMediaServer、Roon Server、Music Assistant（homeassistant音乐播放平台），unraid docker支持在线一键升级容器镜像，非常方便。

6、虚拟机交换机。unraid nas、docker容器和虚拟机ubuntu都要挂在一个虚拟交换器的总线下，这样相互访问物理带宽才能到40Gbps。

7、ARM音乐网桥。ARM架构音乐网桥与unraid NAS一体机通过千兆网络连接/隔离。

经过一番买买买，各种装装装、测测测，daphile/roon Server网播All-in-One一体机软硬件部署完毕，并形成网播软件核心架构：unraid NAS + Docker容器 +虚拟机HQPlayerEmbeded。

历经6、7个月的压力、折腾测试，这个架构非常成熟稳定、接近完美，不要低估了虚拟化、docker效率非常之高。现“全网独家分享”，给有条件的烧油效仿，如果是12、13代大小核CPU，性能会更好，小核心运行nas和Docker、大核心跑升频算法。

具体RoonServer可以参考旧帖：http://bbs.erji.net/forum.php?mod=viewthread&tid=2178547&extra= 聊聊PC hifi与Roon + HQPlayer 网络串流的玩法
具体logitechMediaServer可以参考旧帖： http://bbs.erji.net/forum.php?mod=viewthread&tid=2271717&extra= 聊聊串流网播平台Roon的地表最强平替玩法（番外篇）

因为虚拟机升频有独立显卡CUDA协助，这是44.1khz 16bit PCM 升频调制器7EC V1、2、3或Super到DSD256 sinc-L算法，整体CPU和内存占用率，整机非常轻松（实际上所有DSD256升频算法都可以轻松跑下来）。

本文涉及大量操作优化细节，因为篇幅不在此细数，有兴趣交流、喜欢折腾的烧友建个球球群（836370玖壹柒）。

作者: 门的耳朵 时间: 2023-7-21 09:56
本帖最后由门的耳朵于 2023-7-21 10:37 编辑

顶顶顶
unraid pro正版很关键

作者: 处理器 时间: 2023-7-21 09:57

作者: qyby 时间: 2023-7-21 10:55
楼主玩得溜

作者: cokesum 时间: 2023-7-21 11:39
楼主玩的很顺。
我的NAS是黑群，我在里面用docker部署过HQPE，很卡。
虚拟机好点也有限

作者: clark8888 时间: 2023-7-21 12:30
太硬核的极客玩法，前无古人后无来者

作者: caesee 时间: 2023-7-21 16:50
之前exsi搞的 roon openwrt 黑裙,但是hqpe还是另外一台电脑跑的

作者: Devastat0r 时间: 2023-7-21 17:17
我自己的使用感受是，专业NAS系统更新用时一般较长，all-in-one方案在此期间要听音乐需要等待。
其实音乐NAS可以由达菲专机来担任；
其余的轻NAS任务（下载共享之类的）甩给openwrt软路由处理；
HQPE专机用不依赖显卡能跑7EC SINC-L DSD256的电脑来担任，据说纯CPU加速的声音更好（这个我没比较过），自己实测12700非K的处理器可以；
网桥系统选择同时支持NAA和squeezelite就行，免费的有dietpi之类，付费的多了去，达菲+HQ时用NAA模式，达菲不HQ时用squeeze；
这样整套系统除了HQ专机的付费密钥外，软件成本=0，而且音乐专机和NAS分开也能做到升级NAS不影响听音乐。
当然如果unraid能够实现在不重启系统的情况下就完成升级组件，那当我啥都没说过

作者: johnarcam 时间: 2023-7-21 18:18
顶了，难度好高，先MARK之！

作者: 测试 时间: 2023-7-21 18:18
楼主考虑铁威马T12-423嘛测试过rutracker.org里面的音乐是神马码率的嘛

作者: Mm1231 时间: 2023-7-21 20:08
我就unraid a6直接都。

作者: 宗開 时间: 2023-7-21 20:21
厉害

作者: 中关村东路 时间: 2023-7-21 22:43

Devastat0r 发表于 2023-7-21 17:17
我自己的使用感受是，专业NAS系统更新用时一般较长，all-in-one方案在此期间要听音乐需要等待。
其实音乐N ...

我和楼主正相反，每个功能都有个独立的机器，最简内核最简系统，gentoo+openrc。甚至airplay和naa都分两台机器，走解码的不同接口。下载机也单独出来。

主打一个干扰最小

作者: 处理器 时间: 2023-7-22 06:37
本帖最后由处理器于 2023-7-22 08:42 编辑

Devastat0r 发表于 2023-7-21 17:17
我自己的使用感受是，专业NAS系统更新用时一般较长，all-in-one方案在此期间要听音乐需要等待。
其实音乐N ...

选择unraid做主力系统，考虑过方方面面，优点很多：

1、unraid组件、插件升级不需要重启系统。

2、采用全固态ssd做存储，避开unraid硬盘陈列效率io不高的缺点。nas是unraid内置功能不需要再单独安装第三方系统，而且很好用，音乐文件管理绰绰有余。

3、使用xeon+ecc内存+vpro远程管理服务器主板，硬件可靠性上可以保证常年24小时开机，并且低功耗待机，大概65瓦左右，QNAP同级别高性能nas都是100瓦以上。

4、unraid、esxi、pve都深入使用过，虚拟机的效率都非常高，油管上测试虚拟化性能损失不会超过5%。unraid的内置docker容器做的非常棒，专用镜像，升级更新一键完成，便于维护。

5、All-in-One。这种架构的网播，实际上播放Delay大幅降低了，因为有40Gbps的虚拟网络带宽保证，HQPe升频延迟播放时间减少了一半以上。

6、unraid有大量参考资料，很好上手，支持中文。

作者: 处理器 时间: 2023-7-23 05:32

cokesum 发表于 2023-7-21 11:39
楼主玩的很顺。
我的NAS是黑群，我在里面用docker部署过HQPE，很卡。
虚拟机好点也有限

docker不能直通显卡，而且性能损耗比较大，不适合部署hqpe；虚拟机要直通显卡+独占cpu，内存充裕，可以非常轻松跑下来。

作者: pannin1976 时间: 2023-7-23 07:28
大家的naa都是用什么机器啊？

作者: pannin1976 时间: 2023-7-23 07:30
感觉最后一关的网桥naa还是很重要的，大家都是diy的么？dell的3040不知道能否做naa。

作者: 中关村东路 时间: 2023-7-23 13:11

处理器发表于 2023-7-23 05:32
docker不能直通显卡，而且性能损耗比较大，不适合部署hqpe；虚拟机要直通显卡+独占cpu，内存充裕，可以非 ...

docker可以直通显卡cuda，我学生计算用的服务器都这么部署的

作者: 处理器 时间: 2023-7-24 09:06

中关村东路发表于 2023-7-23 13:11
docker可以直通显卡cuda，我学生计算用的服务器都这么部署的

docker里面显卡不算“直通”吧，容器对显卡是共享访问，不能独占。

作者: 中关村东路 时间: 2023-7-24 13:22

处理器发表于 2023-7-24 09:06
docker里面显卡不算“直通”吧，容器对显卡是共享访问，不能独占。

可以独占

作者: 芝麻汤团 时间: 2023-7-24 17:32
roon没有官方docker镜像，unraid应用市场里的roon是第三方的，我是不敢用的
不如建个linux虚拟机，在虚拟机里装roon server

作者: 芝麻汤团 时间: 2023-7-24 17:33

处理器发表于 2023-7-23 05:32
docker不能直通显卡，而且性能损耗比较大，不适合部署hqpe；虚拟机要直通显卡+独占cpu，内存充裕，可以非 ...

还行吧，docker装plex能调用显卡转码

作者: soil 时间: 2023-7-24 18:20
玩大了，支持！

作者: 处理器 时间: 2023-7-24 20:24
本帖最后由处理器于 2023-7-24 20:33 编辑

中关村东路发表于 2023-7-24 13:22
可以独占

感谢提醒，回头再试试。Nvidia docker应该不能独占访问，不过docker里面的HQPe镜像版本都比较旧，docker跑HQPe动力不足。

https://github.com/NVIDIA/nvidia-docker/wiki/Frequently-Asked-Questions#i-have-multiple-gpu-devices-how-can-i-isolate-them-between-my-containers

作者: 处理器 时间: 2023-7-24 20:28
本帖最后由处理器于 2023-7-24 21:36 编辑

芝麻汤团发表于 2023-7-24 17:32
roon没有官方docker镜像，unraid应用市场里的roon是第三方的，我是不敢用的
不如建个linux虚拟机，在虚拟 ...

对

，unraid商店里面的roon server是第三方的，不过从2020年到现在一直还是有人维护（https://forums.unraid.net/topic/129853-support-xthursdayx-roonserver/）。

其实，群晖NAS的RoonServer也是第三方开发和维护，我现在主力系统是LogitechMediaServer，unraid更新与社区是同步的，更新升级挺方便的。

虚拟机安装roon server当然没问题，只是我的CPU核心还需要跑其他业务，cpu核心数量还是不够用。

作者: 处理器 时间: 2023-7-24 20:36

芝麻汤团发表于 2023-7-24 17:33
还行吧，docker装plex能调用显卡转码

这种应该不属于直通passthrough，Plex转码器调用集成显卡iGPU，也在用。

作者: 中关村东路 时间: 2023-7-24 21:28

处理器发表于 2023-7-24 20:24
感谢提醒，回头再试试。Nvidia docker应该不能独占访问，不过docker里面的HQPe镜像版本都比较旧，docker ...

不是写了可以强制独占…

作者: 处理器 时间: 2023-7-24 21:32

中关村东路发表于 2023-7-24 21:28
不是写了可以强制独占…

强制执行不是独占访问。

作者: 处理器 时间: 2023-7-25 10:33

pannin1976 发表于 2023-7-23 07:28
大家的naa都是用什么机器啊？

diy就五花八门了，买一台成品网桥naa也很多选择。

作者: 芝麻汤团 时间: 2023-7-25 14:27
虚拟机装HQPlayerEmdeded，怎么连DAC？是直通USB接口吗？

作者: Devastat0r 时间: 2023-7-25 15:33

芝麻汤团发表于 2023-7-25 14:27
虚拟机装HQPlayerEmdeded，怎么连DAC？是直通USB接口吗？

一般都是通过NAA的USB口连到DAC的

作者: 芝麻汤团 时间: 2023-7-25 16:16

Devastat0r 发表于 2023-7-25 15:33
一般都是通过NAA的USB口连到DAC的

我问的是虚拟机里的NAA怎么连DAC？

作者: spk 时间: 2023-7-25 16:27
和楼主差不多，我是unraid+docker版roon，自己刷了pi支持roonbridge，dlna和airplay，外网通过zerotier访问，可惜受限于nas的性能，没有做HQPlayer

作者: spk 时间: 2023-7-25 16:31

芝麻汤团发表于 2023-7-25 16:16
我问的是虚拟机里的NAA怎么连DAC？

只看lz的拓扑图的话，貌似是NAA协议，走万兆网，ARM的桥连着DAC

作者: 芝麻汤团 时间: 2023-7-25 17:08

spk 发表于 2023-7-25 16:31
只看lz的拓扑图的话，貌似是NAA协议，走万兆网，ARM的桥连着DAC

理解了，那还是有个树莓派之类的ARM计算机做网桥

作者: Devastat0r 时间: 2023-7-25 20:50

芝麻汤团发表于 2023-7-25 16:16
我问的是虚拟机里的NAA怎么连DAC？

LZ的方案没在虚拟机里捣鼓NAA

作者: 处理器 时间: 2023-7-28 12:23

spk 发表于 2023-7-25 16:27
和楼主差不多，我是unraid+docker版roon，自己刷了pi支持roonbridge，dlna和airplay，外网通过zerotier访问 ...

高性能nas unraid优势明显，docker + 虚拟机可以让所有的cpu核心负载均衡运行。

作者: 处理器 时间: 2023-7-28 12:57

芝麻汤团发表于 2023-7-25 17:08
理解了，那还是有个树莓派之类的ARM计算机做网桥

核和桥要分离

作者: 处理器 时间: 2023-8-4 17:45
关于数播软件系统如何优化的一点心得和宏观思考

这十几天，把所有unraid系统日志全部优化完毕，技术学习体验非常多。unraid优化细节很复杂多，从hqplayer embeded虚拟机、docker运行lms、nas音乐文件系统到网络运行，有非常多运行警告日志，影响稳定运行，偶尔服务器宕机也不知道什么原因，从日志看没有任何预警会宕机。

只能静下心慢慢检查后台每条日志，检查发现貌似系统各种选项配置很多，实际慢慢优化，只有一种系统选项能满足硬件环境和你的需求匹配。

比如：配置虚拟交换机可以配置到最高40Gbps带宽，物理带宽越大、延时低，理想性能会是最好的。实际上这种配置方案，系统后台会不断有警告日志（大概是与物理网络适配器速率不匹配），这及其影响整体的稳定运行，最后还是选择10Gbps，一切回归稳定，诸如此类，如何权衡、取舍？

也再一次证明盲目、想当然的性能堆料，最终结果可能南辕北辙，总会有你想不到的知识盲区。

小结，优化系统软硬件系统，必须要有检查和验证手段，并且有非常明确、可度量、验证结果的标准，如果靠耳朵去做过程控制，这个工作量和可靠性不可想象。

暂时想到这些与大家分享、共勉。

作者: hxbwn 时间: 2023-8-6 17:31
cpu核心直通和隔离怎么做？

作者: 门的耳朵 时间: 2023-8-20 10:26

作者: Mm1231 时间: 2023-8-20 10:51
我原来也是dephile。现在买了a6。把dephile出掉了

作者: Mm1231 时间: 2023-8-20 10:51
unraid里装个网播就行了。

作者: sjtuross 时间: 2023-10-3 11:43
楼主直通的是什么型号的显卡？

作者: Aduiophilleo 时间: 2024-3-9 12:56
直接虚拟 HQPE镜像不是更简洁？连乌班图都不需要

作者: leotest 时间: 2024-11-21 14:17
如果就只是想播放本地硬盘音乐无损文件，怎么跟NAS搭配组建一套数播系统？

欢迎光临耳机网-耳机大家坛 (http://erji.net/)