このどちらかです。私はYoutubeに動画を投稿するために録画することが多いので、最近は必ず録画の前に録画キーを押して「録画できるよな……」と確認するようになりました(結果、数秒の動画データが出来てしまいますが、撮り損ねるよりはマシです)。私が使っている動画編集ツールは、TMPGEnc Video Mastering Works 5と、TMPGEnc Smart Renderer 6なのですが、この現象が出るのは後者のSmart Rendererのみです。この手の動画編集ツールは、動画のエフェクト処理などを行う為にグラフィックカードの機能を一部利用することがあるため、もしかしたらそれがゲームの録画と干渉しているのかもしれませんが……。公式な情報は見つけられておらず、経験則で上記の回避策を見つけただけなので、定かではありません。
これはTwitterで見かけた情報ですが、Amazon Prime Videoをブラウザーで開いた状態にしていると、インスタントリプレイがOFFになるというものです。Prime Videoはスクリーンショットをとっても画像が真っ黒になるなど、いろいろと「盗撮防止」の仕組みを織り込んでいるので、もしかしたらそのあたりの都合でOFFになるか、OFFにせざるを得なくなっているのかも知れません。
最近ずっとGeForce Experienceのインスタントリプレイが勝手にOFFになってONできなくなる現象に悩まされてたんだけど原因は「Amazon Prime Video」でした!