性的マイノリティーと性犯罪が一緒に語られる原因は？

性別変更の要件や理解増進法などでもよく話題に上がっているのが、性犯罪との関連だ。
性同一性障害(現在は性別違和という言葉に変更されている)という言葉がなかった頃から、男性が女装をして女子トイレに入る等はあったのではないだろうか。

なぜ全くの別問題である性犯罪と性的マイノリティーが一緒にされてしまうのか。。

江戸時代につくられた身分差別では、わざと低い身分がつくられ、不平不満を下層に向けるように仕向けられた(現在の教科書では表現が変わっているそうである)。
人間は不平や不満を自分より弱い立場にぶつけるものなのだろうか。
そういった構造で、社会の男女不平等、女性差別などの問題を、弱い立場である性的少数派のせいにしてしまっているのではないかと感じている。
根本原因は男性優位社会にあるのではないだろうか。

どう思われるだろうか。