Esta edificación fue originalmente una fortaleza construida por el noble y jefe militar Fulco III, conde de Anjou en el siglo XI.
Después de la derrota inglesa por Felipe II de Francia, ésta es cedida a Guillermo des Roches.
El castillo fue adquirido en 1435 y reconstruido en 1455 por Pierre de Brézé, un rico ministro de Carlos VII de Francia. A la muerte de Brézé, acaecida en la Batalla de Montlhéry por salvar al rey, su hijo Jacques heredó el castillo y se mudó con su esposa Charlotte de Valois —hija de Carlos VII y Agnès Sorel—, quien es asesinada por su esposo tras ser descubierta en una aventura amorosa con su amigo Pierre de Lavergne el 1 de marzo de 1462. Actualmente existe una leyenda que señala que ella aparece vestida de blanco en noches de tormenta.
