Les châteaux de Rochefort 
Le 1er château fort construit au 11e siècle par Guy de Rochefort dit Gui le Rouge mort en 1107, qui fit vraisemblablement construire également l' enceinte fortifiée du village. Le château fût dévasté au 15e siècle et démoli après la Ligue. Il subsiste des vestiges et des murs d’enceinte. Les ruines apparaissent dans la gravure de DeFer représentant l'ensemble du village.
Construction d'un deuxième château entre 1596 et 1623 par Hercule de Rohan Rochefort, détruit vers 1780. Il n’existe aucune trace du château se ce n'est un témoignage de Tallerant de Réaux; "le batiment le plus extravagant qui fut jamais...". L'architecte Archangé construit un troisième château à la place du précédent de 1781 à 1790 environ, pour Charles Louis Gaspard de Rohan (Charles Armand Jules) peu habité il n'est pas complétement terminé au moment de la Révolution, s’en alla en ruines et détruit en 1801 sous le Premier Empire.
La construction d'un quatrième château, dit Louis XIII, à l' emplacement des anciens communs du château précédent, avec réutilisation de ses matériaux, début 1er quart 19e siècle habité par la famille de la Roche Guyon avant 1898; remaniements à la fin du 19e siècle (partie sud) ; le portail est un vestige en place du premier château.
Finalement le château Porgès fût construit de 1899 à 1904 par l' architecte Charles Frédéric Mewes (1858-1914) pour le financier Jules Porgès (voir "personnalités"). 
Le château de Hercule de Rohan
Il fit bâtir face aux ruines de l’ancienne demeure seigneuriale de Guy le Rouge, un second château en 1623 visité par Louis XIII et détruit à son tour après la Révolution.
Sans reproduction conservée, ce château situé un peu avant le château Louis XIII actuel, sur l’emplacement approximatif du prieuré de la Madeleine démoli pour la circonstance, était au dire de Tallemant des Réaux un bâtiment « extravagant » plein de tourelles , d’échauguettes,… 
L’architecte Archangé entreprit la construction en 1781 pour Charles de Rohan d’un nouvel édifice qui devrait être un véritable palais sur le même emplacement qui ne fut jamais achevé à cause de la Révolution et démoli en 1811. Les colonnes de marbre ont été récupérées pour l’église de St Arnoult et pour le château du Marais.
Avec quelques éléments anciens du château d’Hercule de Rohan, les ruines de la forteresse seront inscrites à l’Inventaire supplémentaire des monuments historiques en 1931 et 1932.
(Photos : L’Inventaire du Canton de St-Arnoult, page 51)
