職場の人とのランチは、目的をもって参加するようにしています。
例えば、今後仕事をしやすくなるための情報収集をしようとか、お互い話しやすくなるために気楽に話せる関係を築こうなど。

目的がないのなら、断ってOK。一人で休憩して午後に備えます。