(derrière l’église)
Au XIIIème siècle, le château de Chagny, propriété de Eudes de Montaigü, fut fortifié par six tours, des fossés et autres travaux.
De cette fortification, il ne reste plus que quelques pans de murs d’enceinte, et cette tour qui touche aujourd’hui le presbytère. Les deux autres tours avec leur pont levis furent détruites. La plus importante, la tour de la Prison était celle sous laquelle on passait en direction de la cour d’honneur du château. La ville, qui l’avait acquise, la fit démolir en 1880.