La torre quadrada és la part més antiga del Castell du Colombier, però la data exacta de la construcció és desconegut. Va ser ampliada durant els dies 13 i 14 de fa segles. En els anys 2001-2002, l'obertura de la Sala de Frescos completat el recorregut de la comunitat de madrid i va permetre als visitants experimentar el refinament de la seva decoració Renaixentista (segle XVI)