La carrera futbolística de Goumas siempre ha estado ligada al Panathinaikos FC.
Empezó en las categorías inferiores, hasta que en la temporada 1994-95 pasa a formar parte de la primera plantilla del club.
Esa temporada solo juega dos partidos de liga, pero en los siguientes años ya se hace un hueco en el once titular.
Con este equipo se ha proclamado tres veces campeón de Liga (1995, 1996 y 2004).
El entrenador no le dio a Goumas la oportunidad de debutar en estas competiciones.