El álbum fue recibido con aclamación de la crítica, posicionándose alto en diversas listas de lo mejor del año en varias publicaciones, llevando así a Holter a una mayor exposición.
En contraposición a su predecesor, Loud City Song, que estaba conceptualmente inspirado por el film Gigi.
Have You In My Wilderness no está atado a una sola narrativa.
"[1] Respecto al proceso de escritura para las canciones, Holter señaló, "Básicamente yo solo suelo escribir conscientemente hasta cierto punto.
Ambas canciones "Sea Calls Me Home" y "Betsy on the Roof" fueron escritas años antes de ser grabadas y frecuentemente presentadas en vivo durante las presentaciones de Holter.
"Lucette Stranded on the Island" fue influenciada por la novela de Colette, Chance Acquaintances, mientras que el personaje recurrente Sally Bowles del escritor Christopher Isherwood, fue una influencia en la escritura de "How Long?".