Gracias por el comentario. No lo conocía.

La verdad es que por lo poco que he podido mirar hay que permitir conexiones a las X desde fuera. Esto se puede hacer en la configuración del GDM que se modifica en "Sistema | Administración | Ventana de entrada".
Además hay que permitir a o las máquinas que se quiera que tomen control de tu PC con un xhost +pepito.
Y por último la conexión no va cifrada por lo que las pulsaciones del teclado van en claro por la red.

Usando ssh es más cómodo, si tienes instalado el servidor de ssh, y el tráfico va cifrado.