Líricamente, «Brownsville Girl» habla a una amante, presumiblemente ida hace un año.
El cantante habla melancólicamente de ella, aunque queda patente que en la actualidad él está con otra mujer que le recuerda a ella, comentando en un verso que la actual mujer tiene el mismo «ritmo oscuro en su alma».
En la canción, el coro, integrado por voces femeninas con un registro vocal cercano al gospel, participan en la temática de la canción comentando con frases cortas y vehementes algún verso.
En un punto de la canción, interpretan una armonía vocal a tres voces.
Una versión temprana de la canción, grabada para el álbum previo, Empire Burlesque, se podía encontrar en grabaciones piratas con el título de «New Danville Girl» y fue finalmente lanzada en el álbum de 2021, Springtime in New York: The Bootleg Series, Vol.16/1980-1985.