El Castillo se encuentra sobre un antiguo Castro sobre el que se asentaron diversas familias durante la dominación romana.
No se puede determinar la fecha exacta de la construcción del castillo pero se cree que fue durante el 793 cuando la familia Temes lo mandó construir para luchar contra los ataques de los musulmanes en Galicia.
El castillo sufrió varios asedios dando lugar a varias leyendas como la de la existencia de un pasadizo por el que salÃan los moros a buscar gente al valle o la de que para liberarlo de los moros se contó con la intervención del Apóstol Santiago en un caballo volador dejando marcas de sus herraduras en el mirador de los caballeros.
En el 1466 en la revuelta irmandiña, más de 130 castillos fueron arrasados, pero el de la Peroxa se salvó por albergar a este cargo, representante del Rey.