El primer señor de Puentedeume fue quien mandó construir la torre, probablemente en el mismo lugar donde se levantó una más antigua, quizás mandada construir por Alfonso X al otorgar el título de villa del lugar.
En un principio la defensa de la villa provista hizo fracasar el ataque, pero un segundo intento dirigido por Alfonso de Lanzós consiguió apoderarse del castillo y la villa y mantenerlos en su poder durante un tiempo.
El actual torreón almenado es lo que queda del conjunto que formaba el pazo de los Andrade, la torre al sur y la ermita de San Miguel al norte.
Esta última fue demolida en 1909, mientras que la desaparición del pazo se produjo progresivamente.
En 1904 el ayuntamiento compró el pazo a la Casa de Alba y se derribó la parte más próxima a la torre para abrir el camino que unía la villa con la nueva estación de ferrocarril.
En la fachada occidental no hay más abertura que una letrina volada.
En la cubierta, en sus ángulos laterales, torrecillas apoyadas sobre modillones, excepto una en forma de anillo.