Este artículo presenta detalles sobre los protocolos y estructura del X11.
El servidor acepta pedidos para salidas gráficas (ventanas o "windows") y envía señales de entrada del usuario (teclado, ratón).
Esto es exactamente al revés que la configuración usual de los sistemas cliente-servidor, donde el cliente se ejecuta en el ordenador del usuario y el server se ejecuta en un ordenador remoto.
Ésta inversión a menudo resulta confusa para nuevos usuarios de X.
La terminología de X Window toma el punto de vista del programa, en lugar del punto de vista del usuario o el hardware: los programas remotos se conectan a la interfaz gráfica del servidor X que se ejecuta en el ordenador local, y por lo tanto actúan como clientes; la interfaz gráfica X local acepta el tráfico de ingreso, y por lo tanto trabaja como un servidor.