そのあたりは源氏の被害者妄想でしかないんだけど
逆に言うとそれだけ源氏のコンプレックスが強いってことでもあるんだよね

藤壺は入内して寵愛受けているから世間的にも大きく扱われているけど
入内してなかったら世間から忘れられた先帝の姫宮だったろうし