Si, es un tema de drivers. Para AMD e Intel, se ha desarrollado mucho porque estas empresas han liberado el código a la comunidad, entonces los drivers libres han sido muy bien optimizados para estas GPU. En el caso de los drivers para GPU Nvidia lo que tenemos es ingeniaría inversa, lo que ha complicado el desarrollo libre para linux, ahora Nvidia ha estado juntando esfuerzo para el desarrollo de sus drivers privativos para linux y ha mejorado mucho la compactibilidad. Si tienes Nvidia lo mejor es tener Kernel y dirvres privativos actualizados.