Hace unos días me pasé a Debian Stable. Me gustó la experiencia, pero creo que la rama Stable es para usarlo como equipo todo terreno, seguro y fiable.
Me decidí a seguir con Debian, pero instalando la rama Testing, que precisamente se convertirá en la nueva versión Stable en unos días con la salida de Debian 11.

Todo correcto sin mucho problema hasta ahora. Instalé los controladores privados de Nvidia para poder jugar (v.460), instalé Steam y OBS Studio.
Al abrir éste último, me fijé que el codificador por hardware NVENC no estaba disponible, así que me dispuse a investigar.
Y después de mucho buscar, he dado con la tecla y os lo dejo aquí para cualquiera que lo necesite y para no olvidarlo.

Debemos instalar los codec privados de Nvidia en nuestro Debian 11. Podemos mirar aquí

Modificamo nuestro repositorios para añadir los famosos contrib, non-free y añadir el multimedia.

sudo nano /etc/apt/sources.list

En mi caso lo he apuntado todo a Testing para evitarme versiones. Así siempre estaré en la rama Testing sin importar la versión.  Así lo tengo:

Guardamos con CTRL+O, sobreescribimos con INTRO y salimos con CTRL+X

Nos vamos AQUI  bajamos el archivo .deb y lo instalamos. Es la Key del repositorio

sudo apt update

Si no hay novedad, ya tenemos los repositorios correctos. Ahora nos vamos a instalar una librerías de Nvidia y las librerías FFMPEG.

sudo apt install libnvidia-encode1
sudo apt install ffmpeg

OJO. El paquete FFMPEG tiene una versión anterior en los repos Testing que no sirven. Por ello debemos instalar el repo Multimedia.
Una vez haya terminado, le decimos a ffmpeg que debe usar NVENC.

ffmpeg -h encoder=h264_nvenc

Saldrán una serie de números y letras en nuestra terminal durante unos instantes.
Una vez haya acabado, abrimos OBS Studio, en mi caso es la versión 26.1
Nos vamos a Archivo/Configuración.

En la sección de Salida/Codificador tendremos disponible nuestro codificador por hardware NVENC,

Con él activado, usaremos nuestra gráfica (hardware) para codificar el vídeo que grabamos y con ello, usar menos cantidad de recursos del equipo.

EDITO: Por alguna razón, al formatear y repetir los pasos, no me funcionaba. Seguía dándome errores al grabar la pantalla. Después de mucho mirar, encontré la solución, muy simple.

Así tenía la pestaña de grabación. En la pestaña que está marcada, seleccionamos la opción Software x264. Aplicamos y cerramos la ventana de Ajustes.
Abrimos de nuevo los Ajustes, vamos a la misma pestaña y volvemos a seleccionar Hardware NVENC. Ésta vez sí me ha dejado grabar con el driver de Nvidia.
De todas maneras, grabando la pantalla tampoco debería haber mucho problema al usar la codificación por software, a no ser que tengas un equipo muy justo.