Ferrer era el mayor de cinco hermanos, hijos del actor José Ferrer y de la cantante Rosemary Clooney (tía del también actor George Clooney).
Ferrer creció durante el mayor esplendor y glamour de Hollywood.
En 1983, Ferrer tuvo un pequeño papel como camarero en The Man Who Wasn't There (El hombre que nunca estuvo allí).
En 1999 estuvo nominado a los Premios Grammy por la mejor voz para niños en la película El Rey León II de la Disney.
También puso voz a "Tarakudo" en la serie Aventuras de Jackie Chan durante la cuarta temporada.