El palacio debe su nombre a Colico Alberti, quien fue su propietario desde el año 1657. El volumen de ventas de propiedades y sus intervenciones eran también bastante numerosas y se reflejan tanto en la arquitectura del edificio, como en las decoraciones de la fachada. Con base en el estado actual y los testimonios de varios grandes rasgos, podemos reconstruir los hechos de la historia de este edificio.
Originalmente estaba junto a dos casas adyacentes, pero por separado. Tuvo que ser una casa del siglo XIV de planta cuadrada, un poco más recargada en el segundo piso de los tres,y el primer piso de una arquitectura sencilla y con una ventana ojival.
Los trabajos de restauración han puesto de manifiesto los restos de una imagen sagrada de interpretación incierta.
El fresco del siglo XV en la se refleja en la pared, en los azulejos, alternando rojos y verdes, aunque fue un añadido más tardio con respecto a las estructuras arquitectónicas.