上のほうのレスに液晶TVが遅延の原因だとあるのを見て、
液晶は音声の遅延に関係ないよなぁと思いながらも
TVの設定をポチポチして、音声のサラウンド機能オフにしたら
遅延が改善されたので一応報告しときます。
もっと早くに気が付けば良かった…