Édifié sur un plan barlong d'environ 50 m de côté flanqué aux angles de quatre tours rondes, le château, construit à la fin du XIVe siècle par Jean de Chevenon, alors conseiller de Charles VI de France, était pourvu d'un donjon de 25 m de hauteur qui dominait la voûte d'entrée.
Son architecture est inspirée du château de Vincennes et ses tours imposantes donne leur nom au village.
Pendant la guerre de Cent Ans, à partir de 1422, il est occupé par le capitaine Perrinet Gressard qui tint tête à Jeanne d'Arc lors du siège de La Charité-sur-Loire en 1429.
Très endommagé par les guerres de religion, le château devient en 1782, la propriété du marquis de Vergennes, homme politique et diplomate, qui ne le restaure pas plus que ne le feront ses propriétaires successifs. Au contraire, ses pierres seront utilisées pour d'autres constructions.
 - Chateau.jpg)