断ることは相手に申し訳ない気もしますが、自分の嫌だと思う気持ちも大切。穏やかに断りを入れたらいいんじゃないかな。無理に付き合うのも失礼だよ。