La canción pretendía ser un comentario sobre el Stiffs Live Tour, en el que había participado Costello.
[4] Costello dijo más tarde sobre la canción: “Bueno, ¿cuánto puedes follar, cuántas drogas puedes tomar antes de quedar tan insensible que realmente no puedes sentir nada?”[5] Musicalmente, la canción se inspiró en «Subterranean Homesick Blues» de Bob Dylan; en su autobiografía de 2015, Unfaithful Music and Disappearing Ink, Costello explicó: La canción se grabó rápidamente; El bajista Bruce Thomas recordó: “Literalmente hicimos las mejores pistas en [This Year's Model]—«Pump It Up», «Chelsea»—en una tarde.
Y luego hay un bar extraño donde toqué «You Really Got Me».
Además, debido a la presencia regular de la canción en eventos deportivos, la canción ha aparecido en álbumes recopilatorios de varios artistas como Jock Rock 2000 y ESPN Presents Slam Jam Volume 1.
En AlMusic, Deming llamó a la canción “tan emocionante, insistente y físicamente poderosa como cualquier cosa contra la que Costello haya estado criticando” y señaló que la canción “captura perfectamente la sensación vertiginosa pero aterradora de una fiesta de toda la noche llena de adrenalina y salvaje que es colgando al borde del colapso”.
[4] Amy Poulter de The Virginian Pilot escribe: “Incluso si no eres fanático, lo más probable es que hayas escuchado la canción y te hayas quedado atrapado en su ritmo y melodía contagiosamente alegres”.
Costello explicó: El video de «(I Don't Want to Go to) Chelsea» fue filmado el mismo día en Londres, y se puede ver a todos los músicos vistiendo la misma ropa, aunque el baterista Pete Thomas luce una chaqueta gris lisa para «Pump It Up».