En 1962 se traslada a Nueva York, donde encuentra trabajo en una librería y se incorpora a la Jazz Composers Guild, entrando de lleno en la dinámica del free jazz.
Después, se traslada a Europa, donde realiza numerosas grabaciones, entre otros con Jeanne Lee.
Durante esa década se dedica a sus trabajos de etnografía musical, especializándose en instrumentos africanos y orientales (Shakuhachi, flautas de bambú, oud...).
Durante los años 80 realiza numerosos conciertos en solitario, y forma su banda The Group.
La música de Brown, se define por su dulzura, su fragilidad y su capacidad de crear ambientes, aunque posee una energía y un volumen sonoro bastante poco usuales en el saxo alto.