Situado estratégicamente entre la ciudad de Toledo y el Tajo, encima del puente de Alcántara, única salida hacia el sur peninsular, ejerció una función de control sobre esta entrada y salida de Toledo.
Sus raÃces son musulmanas, aunque sufrió unas cuantas ruinas y abandonos para revivir con otras tantas restauraciones.
Albergó una comunidad monástica que lo abandonó ante los intentos almorávides de recuperar la capital.
Es donde el Cid veló las armas antes de su reconciliación en Toledo con Alfonso VI.
Defendido luego por la Orden de los Templarios perdió su carácter fronterizo y defensivo tras la batalla de las Navas de Tolosa en 1212 y cayó en el olvido.
La planta del edificio es prácticamente rectangular, orientada de sur a norte.
Está coronado con almenas y tiene tres torres circulares huecas en tres de sus esquinas, destacando una de ellas por su mayor envergadura. La puerta principal se abre en una especie de torre del homenaje con saeteras y matacanes de rigor.