Unityエンジン2021.2で追加のWebGLの新機能で圧縮オーディオや圧縮テクスチャフォーマットサポートが追加された事も軽くなった要因なのかも知れない。まだ確実に調べきれていないけど、公式のドキュメントだからとりあえず2021.3LTSに上げてビルドすると軽くなりました。