Nick Cave empezó a componer canciones en su guitarra después de un extenso tour durante el 2005 con The Bad Seeds para promocionar su doble álbum, Abattor Blues/The Lyre of Orpheus.
[6] Para experimentar con este nuevo material, Cave formó Grinderman junto a sus compañeros de Bad Seeds Warren Ellis, Jim Sclavunos y Martyn P. Casey.
[7] Nuevos episodios aparecieron regularmente con el curso de las semanas, con solo cinco grabaciones subidas a la página.
La banda hizo su debut en vivo en el All Tomorrow's Parties Festival en Somerset el mes siguiente y el 30 de abril lanzarían su tercer y último sencillo del álbum, "(I Don't Need You To) Set Me Free".
[8] Grinderman hizo su debut televisivo en Estados Unidos en el programa de la CBS Late show with David Letterman, donde tocaron el tema "Honey Bee (Let's Fly to Mars)".
La banda fue también telonera de The White Stripes en su espectáculo en el Madison Square Garden el día siguiente.
En una entrevista con XFM, una radio británica, Cave explico que Grinderman quería hacerlo más "serio" esta vez, pero sin todavía preocuparse por un éxito comercial.
[16] Grinderman 2 fue entonces anunciado para su lanzamiento en septiembre, con su primer sencillo "Heathen Child" dándose a conocer el 6 del mismo mes.
En enero de 2011 la banda hizo su primera aparición en el festival Big Day Out y MONA FOMA.