«Only Happy When It Rains» fue escrita y grabada en Smart Studios en 1994 durante la composición del álbum debut.
En Estados Unidos se lanzó en enero de 1996, pero a diferencia del lanzamiento anterior, no fue un éxito instantáneo, sino que en el relanzamiento de mayo de 1996, cuando también fue lanzado en Europa y Australia) fue cuando llegó al número 55 del Billboard Hot 100 y al número 16 del Billboard Modern Rock.
La canción fue acompañada por los inéditos «Girl Don't Come» y «Sleep».
Esta canción, incluida en el disco Garbage llama la atención ya que a pesar de tener una música muy alegre, las letras son muy pesimistas («I'm only happy when it rains/I'm only happy when it's complicated, and though you cant' apreciate it/I'm only happy when it rains» —en español: «Solo soy feliz cuando llueve/Solo soy feliz cuando es complicado, y a pesar de que no puedas creerlo/Solo soy feliz cuando llueve»—).
«Only Happy When It Rains» fue considerada por la discográfica como la canción más comercial del disco, por lo que se invirtió un gran presupuesto en su videoclip; la sorpresa fue que «Stupid Girl», el siguiente sencillo, fue aún más exitoso.