Comenzó a dirigir cuando tenía poco más de veinte años, llamando la atención por su corto infantil de media hora The Boy Who Owned a Melephant (1959), narrado por la actriz Tallulah Bankhead[4][5] y producido con Peter Gayle y Tony Anthony, quienes se convertirían en sus frecuentes colaboradores.
[9] Después de estos dramas, Swimmer dirigió la comedia musical pop Mrs.
Brown, You've Got a Lovely Daughter (1968), protagonizada por el grupo de pop británico Herman's Hermits.
[2] Después de trabajar como coproductor del documental de los Beatles Let It Be (1970), producido por Neil Aspinall y Mal Evans,[2] Swimmer y su colega de cine independiente Tony Anthony coescribieron y codirigieron la surrealista película de carretera entre Estados Unidos e Italia, Come Together (1971), producida por Ringo Starr e inspirada en la canción de los Beatles "Come Together"; y produjo un Spaghetti Western sobre un pistolero ciego pero mortal, Blindman (1971; también conocido como Il Ciceo e Il Pistolero Ciceo), protagonizado por Anthony y Starr.
Al año siguiente, Swimmer dirigió The Concert for Bangladesh, organizado por George Harrison con Ravi Shankar.