どうして電車の優先席に座っちゃいけないの？

電車の優先席は、あくまで「優先席」なので、空いていたら座っても問題ないはず。
なのですが、たまに優先席の前で立ったままで、空間だけ占拠している人がいます。空いてるときは別に良いと思うんですが、電車が混んでいて少しでもスペースを空けてほしいときに、それでも優先席に座らない人には、ちょっとイラッっとします。「あなたが座ってくれたらもう1人分場所が空くんだけどな」って思います。
「優先席に座る罪悪感」を感じるのかなと思いますが、たまに優先席に荷物を置いてるのに座らない人がいます。それって罪悪感を感じていたらやらないと思うんです。
優先席を使いたい人が来たらすぐに座れるために自分が座らないのなら、そこに荷物を置くのは変ですよね？
どういういう考えでそうしているのか、私には理解し難いんですが、どうなんですかね？