Con el inicio de la Edad Moderna, consolidadas las fronteras del reino portugués, el castillo de Póvoa de Lanhoso (Portugal) perdió progresivamente su importancia estratégica, viniendo a conocer el abandono y la ruina.
Ese proceso seria acentuado a partir del final del siglo XVII, cuando André da Silva Machado, un comerciante abastado de Porto decidió levantar una réplica del Santuário do Bom Jesus de la ciudad de Braga. Para ese fin, obtuvo autorización para demoler el antiguo castillo y reaprovechar la piedra para edificar un santuario sobre la Nossa Senhora do Pilar.