Centro histórico de la región Dzūkija, la ciudad se extiende al lado del Río Niemen.
Las autopistas más importantes que unen Vilna, Kaunas, Lazdijai y Hrodna, en Bielorrusia, pasaban por ella.
Dividida en dos entidades diferentes durante siglos, consiste en dos partes a las que aún se conoce de forma habitual como Alytus I y Alytus II, siendo la primera una población más pequeña, mientras que la segunda abarca el centro de la ciudad con parques, microdistritos y áreas industriales.
El Tratado del Lago Melno dejó la localidad en el lado teutónico de la frontera, pero fue recuperada más tarde.
En 1915 la población se incorporó al llamado Ober-Ost, y ambas partes fueron una vez más unidas bajo una única administración, lo cual no ocurría desde 1795.
Tras la finalización de la Primera Guerra Mundial la región siguió disputada por las recientemente independientes Polonia y Lituania, mientras que el control real lo ejercía el ejército alemán establecido en la zona.