ここしばらくVPN接続して接続先へリモートデスクトップをすると頻繁にフリーズしてイライラマックスでした。それが解決した話をしたいと思います。
解決方法
私の環境だけの可能性もありますが、Windows 10 20H2へアップデートするだけで解決します。
試行錯誤の末
このリモートデスクトップの問題は、1903から出ている現象のようでして、UDPを無効にしたり、WDDMグラフィックディスプレイドライバ無効にしたりすることで解決出来るようでしたが、私の環境では改善は観られませんでした。
そこで一縷の望みをかけてWindows 10 20H2へアップデートしてみたところ、残念ながら改善しません。そこで上記の「無効」にしていたものをあえて「有効」に設定してみたところ以前より反応がよくなったんじゃないかと思うくらいスムーズにリモートデスクトップが動作するようになりました。
リモートデスクトップを重ねると固まった

リモートデスクトップ接続を重ねると固まる現象が出る場合はグループポリシーの「リモートデスクトップ接続にWDDMグラフィックディスプレイドライバーを使用する」を無効にします。設定後は端末を再起動します。
場所は、コンピュータの構成 > 管理用テンプレート > Windowsコンポーネント > リモートデスクトップサービス > リモートデスクトップセッションホスト > リモートセッション環境 にあります。
「VPN接続時のリモートデスクトップが頻繁にフリーズするのが改善した」への1件の返信
あれー、結局かたまるぞ……回線速度が原因だったのかなぁ。Windows 7だと問題ないからなぁ。