Vielleicht falschen Encoder gewählt. Es gibt einen neuen und einen alten NVENC Encoder, und der neue NVENC Encoder wird erst ab NVidia RTX 20XX / GTX 16XX (Turing) unterstützt.
Andernfalls mal den normalen NVENC oder Softwareencoder probieren (Letzteres erfordert eine gute CPU).