Las noticias sobre sus primeros años son escasas y contradictorias: perteneciente a la noble y poderosa familia de los Colonna, no está claro si era hijo de Giordano Colonna y Francesca Conti o de Oddone de Giordano y Margherita Orsini.
Si el pontificado de Nicolás IV había sido un periodo dorado para el cardenal, que había acrecentado notablemente sus rentas y conseguido el capelo para su sobrino Pietro, el de Bonifacio VIII supuso su expulsión de la Curia: en el pleito mantenido con sus hermanos por la distribución de las propiedades en el feudo familiar, Giacomo se había alineado con los sobrinos de su hermano Giovanni, dejando a sus hermanos Oddone, Matteo y Landolfo en la ruina; apelaron éstos al papa, que resolvió que el cardenal devolviera lo que había usurpado, pero descontentos con la sentencia, en mayo de 1297 sus sobrinos asaltaron la comitiva que transportaba el tesoro pontificio; las condiciones exigidas por Bonifacio VIII a modo de resarcimiento indignaron a los Colonna, y el día 10 éstos publicaron un manifiesto acusando a aquel de haber forzado la renuncia de su antecesor y negando su legitimidad como papa; Bonifacio respondió deponiendo a Giacomo y a Pietro de su dignidad cardenalicia, excomulgándolos, desterrándolos y confiscando sus propiedades.
Tío y sobrino se acogieron a la protección de Felipe IV de Francia, enemistado a su vez con Bonifacio VIII.
Fue en este contexto que su pariente Sciarra Colonna llevó a cabo el famoso atentado de Anagni de 1303 contra el papa.
Fallecido en Aviñón en 1318, fue trasladado a Roma y sepultado en la Basílica de Santa María la Mayor.