题主你好，首先需要明确几个概念。
信号的传输需要物理接口（指硬件层面，接口和接口之间需要通过采用某种介质的线缆连接）、协议（可简单理解为软件层面，也就是格式，实际协议里内容比较多，这里就不展开说明了）和载体（音响系统里一般是通过电或者光），还要确定是模拟信号还是数字信号。
那么题主你提到的光纤一般会理解成上述的物理接口概念，也就是设备上插口是光纤口（民用设备领域该物理接口的专业说法是TOSLINK，专业设备领域还使用一种物理接口叫MADI），实际上还包括了传输用的线缆是光纤，载体自然也是光了，传输的肯定是光信号了。同理，同轴也一般理解成物理接口的概念（专业说法是Coaxial），实际上还包括了传输用的线缆是电缆，载体自然是电了，传输的肯定是电信号了。
那问题就来了，一个物理接口怎么能和另外一个物理接口比较好坏呢？一个塑料头，一个金属头，拿来比较音质？
所以，其实很多人把接口、协议和载体的概念搞混在一起了。先说说题主提到的概念里用到哪些接口、协议和载体。
物理接口：TOSLINK，BNC，RCA 协议：S/PDIF，ADAT 载体：电，光
题主你说的光纤，其实想表达的是通过TOSLINK光纤头使用ADAT协议传输光信号这种方式（也可以简单说成adat信号--俗称）。但是你只说光纤的话，其实是不准确的，因为TOSLINK光纤口既可以使用ADAT协议，又可以使用S/PDIF协议。
而题主你说的同轴，其实想表达的是通过RCA莲花头使用S/PDIF协议传输电信号这种方式（也可以简单说成s/pdif信号或数字同轴信号--俗称）。但是你只说同轴的话，其实也是不准确的，因为同轴口既可以传数字信号，也可以传模拟信号。而S/PDIF协议既可以使用RCA头，也可以使用BNC头（一般用在广电专业领域，常用来传输的协议是大名鼎鼎的AES，没错和音频工程师协会字母缩写一样，准确来说传输的是AES3协议），还可以使用TOSLINK头（没错可以通过光来传输所谓的「数字同轴信号」）。
所以，题主你把光纤和同轴放一起比较，按照接口、协议和载体，要分两种情况。
1.光纤口「走的是S/PDIF信号」（协议），同轴口「走的也是S/PDIF信号」（协议）。
那么信号本质上没区别（编码方式），无非使用光纤多了一个电光转换（输出）和光电转换（输入），在转换过程中可能会造成一定的误码，但是这个误码率应该很低很低，题主你是肯定听不出来区别。
2.光纤口「走的是ADAT信号」（协议），同轴口「走的也是S/PDIF信号」（协议）。（十有八九你想问得就是这个）
先简单补充两句，S/PDIF协议其实就是专业领域使用的AES3协议（也有的设备标注AES/EBU）的民用版（主要是在接插件、线缆阻抗和逻辑电平上有区别），还有从平衡传输改为非平衡传输（降低成本，几米内传输两者没什么差距），所以本身的传输可靠性是有保证的。而ADAT主要是为了多声道音频信号的传输和存储而开发的，传输可靠性上未必就比S/PDIF更好。两者都是对PCM编码后的信号进行再次编码用于传输（还有同步），S/PDIF协议使用的二次编码方式是双相符号编码（Biphase-Mark Coding），ADAT协议使用的二次编码方式我没有查到，不过不会有什么质的差距，最终无非是误码率有一点差异性，但是这个差距题主你依然听不出来。
啰嗦了大半天，就是告诉题主，这两者之间传输信号的差异导致的音频质量之间的差异性可以说是非常非常非常小（好吧，我也拿不出什么精确的数据，题主就当我是在抖机灵好了）。相比较而言，ADC芯片（简单理解为编码好了）和DAC芯片（简单理解为解码好了），晶振和电路总体设计，以及最后级使用的耳机或音箱，甚至你的听音环境等对音质的影响大得多。所以，题主完全不用担心「用同轴」好，还是「用光纤好」。
题主，你的第2个和第3个问题合并一下。首先USB也是物理接口（因为是为计算机专门开发的，所以有自己专门的协议，无法使用S/PDIF这种单纯的传输音频信号的协议），完成解码的依然是你的DAC内的芯片，而不是USB。USB也是很成熟的技术，现在已经到USB3.1版本了，就传输音频信号的可靠性来说，是没有任何问题的，现在很多专业声卡（万元以上）都是用USB接口（以前使用火线接口更稳定）与计算机连接的。你说担心usb音质不好，是大可不必的，影响dac解码后音质的是芯片、晶振和电路设计，跟声卡无任何关系（解码时，你的外置DAC相当于顶替了板载声卡的输出功能），所以为了保证音质，最好不要买便宜的杂牌的解码器（大厂的设备更有保证）。你说额外买个声卡，然后声卡接电脑，声卡的同轴输出给dac来解码也是大可不必的，因为这样连接只是把usb传输的数字串行信号先解一次信道编码，然后再一次信道编码转成S/PDIF格式，这是多此一举。声卡本身就有DAC功能，可以输出模拟信号，相当于一个功能多一些的DAC。所以，题主你要么花钱买个好点的hi-fi声卡当DAC用（比如创新的X7，当然也可以买专业声卡，不过使用起来就复杂了），要么就直接买个好点的DAC，不要把钱分开用。
题主，最后一个问题其实挺难说个标准答案。因为线材本身的物理特性对信号传输肯定是有影响的，比如导体直径、直流电阻、扭矩等，但是一般只有在远距离传输的时候，才会有明显的差异，家里用一般都在1米以内，可以说普通的线材就够用了。当然好一些的线材屏蔽做的比较好，对信号的传输是有帮助的，不过也不建议去买天价线，带来的提升（其实不是提升，是减少衰减）和价格不成正比。不过因为很多朋友买了高档音响（好几万，甚至好几十万），总觉得用那几块钱一根的低端线材，影响音质（有损逼格），于是就去买高端线，插上去就觉得音质好很多（其实是脑放在工作），也是可以理解的。总得来说，没必要在线材上花费过多的钱，大厂生产的成品线其实比很多手工作坊制作的手工线的质量好很多（机器焊的就是比人焊的好）。如果题主需要购买好一些的线材和接插件的话，可以看看佳耐美的线和纽崔克的接头，有口皆碑，在专业领域基本用的都是这两个牌子（发烧领域就不说了，牌子太多，没法说哪个牌子特别好）。
打字不易，希望能帮到题主。
