La localidad está dominada por el Fuerte Rey Jorge, una fortificación del siglo XVIII nombrado así en honor al rey de Inglaterra Jorge III y que ahora alberga un museo histórico y arqueológico.
El puerto de aguas profundas de Scarborough fue construido en 1991, ya que hasta ese momento los buques se veían obligados a anclar en alta mar.
La localidad se convirtió en la capital de Tobago en 1769, cuando sustituyó a la entonces capital de Georgetown.
Bajo el gobierno francés fue nombrado Port Louis.
La localidad abarca parte de la isla de Tobago y limita al norte con Idlewild-Whim, Darrell Spring, Sargeant Cain y Bagatelle, al sur con el océano Atlántico, al este con Bacolet y al oeste con Mount Marie y Lambeau.