La región, como aconteció en la mayoría de las regiones circundantes a ésta, estuvo habitada por la etnia indígena aborigen de los Nutabes, la cual en esta comarca se asentaba fundamentalmente en cercanías de un río conocido entonces como San Andrés, el cual río hoy se llama río El Valle y está localizado en la región de Toledo.
Es clásico por estos lados el nombre de un gran jefe cacique guerrero de nombre Guarcama, famoso, belicoso y buen negociante.
En el año de 1916 se erigió en este territorio la primera parroquia.
San José de la Montaña está compuesto por las veredas: Cambure, El Caribe, El Congo, La María, Potrerito, Santa Bárbara, La Mariela, Santa Inés.
La mejor ruta para llegar a este municipio consiste en tomar (desde Medellín), la Autopista Norte, pasando sucesivamente por los municipios de Copacabana y Girardota hasta llegar al Alto de Matasanos, y desde allí luego a Santa Rosa de Osos tomando la desviación en los Llanos de Cuivá.