そもそもゲーム止めるのに、timeScale使うなって話があるわ。
https://forum.unity.com/threads/setting-time-time-to-0-pauses-all-timeline-tracks-except-from-audio.599056/

いただきましたご支援は、ゲーム開発の足しにさせていただきます。少しでも気になるな、と思っていただけたら、ぜひサポートお願いします!