À l'origine, le château se trouvait sur la colline. Au XIIIe siècle, le château des évêques de Valence fut édifié sous la direction des moines de Saint-Ruf, ainsi que les remparts du village. C'est au XIIIe siècle que Montvendre sera fortifié comme l'attestent les mentions de 1202, 1238 et 1257 des lieux comme CASTRUM MONTIS VENERIS. Cette appellation nouvelle de CASTRUM prouve la présence d'un système défensif (vraisemblablement très simple) à cette époque. Ce n'est qu'en 1283 que l'évêque de Valence Jean de Genève alors englué dans le conflit héréditaire sanglant (débuté en 1189) opposants les comtes de Poitiers-Valentinois aux évêques de Valence et de Diois pour la domination sur la région ; fit construire à Montvendre un système défensif complet : donjon, rempart ceignant le village et la porte fortifiée que nous pouvons encore admirer de nos jours.





Le château fut détruit suite aux guerres de religion ainsi que les remparts dont il ne subsiste aujourd'hui qu'une porte fortifiée (porte de Florence). Les douves sont aujourd'hui comblées. L'église, dont il ne reste aujourd'hui que le chœur, fut construite en dehors des remparts.

Un acte de cession mentionne le château de Monvendre en 1289 : le monastère de Sainte-Croix de Quint tombait en décadence et ne donnait pas d’espoir de pouvoir se relever seul. Pour remédier à ce mal, Jean de Genève, évêque de Die, par un acte du 4 des calendes de novembre (28 octobre) 1289, donné dans le château de Montvendre et ratifié par le chapitre de Die, céda le prieuré et ses dépendances aux hospitaliers de Saint-Antoine-de-Viennois. Histoire religieuse de Pont en Royans par l’abbé L. Fillet curé d’Allex (Drome) Librairie Lantheaume Place des Clercs Valence 1887'
Un nouveau château a été construit au XIVe siècle par les évêques de Valence. Corps de logis flanqué d'une tour ronde et d'une tour carrée.