時間経過の計算はフレーム数で行っているのですが、イベントによって二分間くらいのズレが生じていました。
ので、実際数値化して問題解決です。
おかげさまでようやくズレが生じなくなりました。