Art. 6 LPN; ISOS objectives and municipal building permits; effect of federal inventories in the weighing of interests. Even outside the sphere of federal tasks, federal inventory entries must be taken into account in the interpretation of open-ended construction-law terms and in the concrete balancing of interests. Where an ISOS site is assigned a protection objective A, the competent authority must seriously engage with the resulting conservation interests; it may not authorize demolition/reconstruction without addressing those objectives. The Federal Court reviews cantonal application of cantonal/communal aesthetic clauses only for arbitrariness, but examines freely whether municipal autonomy was respected. Anticipatory assessment of evidence is permissible, and a local inspection may be refused if it could not alter the outcome.
1C_400/2023, 1C_408/2023
Arrêt du 24 mai 2024
Ire Cour de droit public
Composition
MM. les Juges fédéraux Kneubühler, Président,
Chaix et Haag.
Greffier : M. Kurz.
Participants à la procédure
1C_400/2023
Municipalité de la Commune de Mex, chemin de Lugny-lès-Charolles 2, 1031 Mex VD, représentée par Me Daniel Guignard, avocat, avenue des Mousquines 20, 1005 Lausanne,
recourante,
et
1C_408/2023
A.________,
représenté par Me Jean-Daniel Théraulaz, avocat,
recourant,
contre
Direction générale des immeubles et du patrimoine du canton de Vaud,
place de la Riponne 10, 1014 Lausanne,
Objet
Permis de construire,
recours contre l'arrêt du Tribunal cantonal du canton
de Vaud, Cour de droit administratif et public,
du 20 juin 2023 (AC.2022.0155).
A.________ est propriétaire de la parcelle n° 480 de la commune de Mex. D'une surface de 42'399 m2, cette parcelle supporte notamment les bâtiments suivants : en son centre, le château d'En-Haut et sa dépendance, bénéficiant tous deux d'une note 1 au recensement architectural du canton de Vaud (soit des objets d'intérêt national dont le classement comme monuments historiques est en principe requis) et inscrits à l'inventaire; au nord, une maison paysanne (bâtiment ECA n° 76) considérée comme une dépendance du château d'En-Haut bénéficiant d'une note 2 (soit un objet d'intérêt régional pour lequel une mesure de protection est en principe requise) et inscrit à l'inventaire; sur son côté nord-ouest, l'ancienne ferme "Le Prieuré" (bâtiment ECA n° 77 de 591 m2) et le bâtiment ECA n° 78 (non mentionné au cadastre), lesquels sont implantés le long de la rue du Prieuré et bénéficiaient alors d'une note 4 (soit des objets bien intégrés par leur volume, leur composition et souvent leur fonction, participant à l'identité de la localité); au nord-ouest également, à côté du bâtiment précité, la maison dite "Le Cabaret" (ECA n° 79 de 135 m2) bénéficiant d'une note 2 et inscrite à l'inventaire.
Le 30 juin 2021, A.________ a déposé une demande de permis portant sur la démolition des bâtiments ECA nos 77 et 78 ainsi que sur la construction, au même emplacement, d'un immeuble de treize logements sur quatre niveaux habitables (rez, étage, combles et surcombles) avec parking souterrain de seize places. Mis à l'enquête publique du 4 septembre au 3 octobre 2021, le projet a suscité notamment l'opposition des associations Patrimoine Suisse et Patrimoine Suisse Vaud. La Direction générale des immeubles et du patrimoine du canton de Vaud, Division monuments et sites (DGIP MS) a émis un préavis négatif fondé sur des motifs d'esthétique et d'intégration, et recommandait diverses modifications du projet.
Par décision du 14 avril 2022, la Municipalité de Mex a levé les oppositions et autorisé le projet litigieux.
Par arrêt du 20 juin 2023, la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a admis le recours formé par les associations opposantes et a annulé le permis de construire. La municipalité s'était fondée sur un rapport de réorganisation du centre du village du 5 juin 2020, mais il s'agissait d'un projet de développement plus que d'une analyse détaillée avec une pesée d'intérêts. Le village de Mex figurait à l'ISOS et le secteur litigieux bénéficiait d'un objectif de sauvegarde préconisant le maintien de la substance et l'interdiction des démolitions et constructions nouvelles. La parcelle n° 480 constituait en outre un jardin ICOMOS (parcs et jardins historiques de la Suisse recensés par le Conseil international des monuments et des sites). Le bâtiment se trouvait aux abords de nombreux monuments historiques protégés. Si, au moment de la mise à l'enquête, il était recensé en note 4, il avait été réévalué en cours de procédure et bénéficiait désormais d'une note 3, soit un bâtiment remarquable ou intéressant devant en principe être conservé. Une démolition/reconstruction n'était dès lors pas possible.
L'arrêt de la CDAP fait l'objet de deux recours. Le premier (1C_400/2023) de la Municipalité de Mex, qui conclut à la réforme de l'arrêt attaqué en ce sens que le recours cantonal est rejeté, la décision communale étant confirmée. Le second recours (1C_408/2023) est formé par A.________, lequel conclut à la délivrance du permis de construire. Subsidiairement, les deux recours tendent au renvoi de la cause à l'instance cantonale pour nouveau jugement dans le sens des considérants.
La CDAP a produit son dossier, sans déterminations. La DGIP conclut au rejet des recours. Patrimoine Suisse et Patrimoine Suisse Section vaudoise concluent au rejet des recours. La Municipalité conclut à l'admission du recours de A.________, et ce dernier rejoint les conclusions de la Municipalité. Les parties ont ensuite persisté dans leurs conclusions.
Les deux recours sont formés contre le même arrêt cantonal. Ils concernent le même complexe de faits et soulèvent des questions juridiques qui se recoupent pour l'essentiel. Il y a donc lieu de joindre les causes et de statuer dans un même arrêt (cf. art. 71 LTF et 24 PCF).
Les recours sont dirigés contre un arrêt final rendu en dernière instance cantonale (art. 86 al. 1 let. d LTF), en matière de droit public des constructions (art. 82 let. a LTF). La voie du recours en matière de droit public est ainsi en principe ouverte (art. 82 ss LTF), aucune des exceptions prévues à l'art. 83 LTF n'étant au surplus réalisée. Le recourant propriétaire est particulièrement touché par l'arrêt attaqué, qui annule le permis accordé par la commune; il dispose ainsi de la qualité pour recourir au sens de l'art. 89 al. 1 LTF. La commune recourante, qui fait valoir une violation de l'autonomie dont elle bénéficie en matière d'aménagement du territoire et en droit des constructions, est également recevable à agir en vertu de l'art. 89 al. 2 let. c LTF. La question de savoir si elle est réellement autonome dans ce domaine relève du fond (ATF 146 I 36 consid. 1.4; 135 I 43 consid. 1.2 et les arrêts cités).
Les autres conditions de recevabilité sont également réunies, si bien qu'il y a lieu d'entrer en matière sur les recours.
Se plaignant tous deux d'établissement manifestement inexact des faits, les recourants reprochent à la CDAP d'avoir considéré en se fondant sur les observations des intimées que le bâtiment ECA n° 77 bénéficiait d'une note 3 au recensement architectural, alors que la fiche en question est toujours en cours de révision; il ressortait des observations et annexes du 7 juillet 2022 de la DGIP que le bâtiment bénéficiait toujours de la note 4. La Direction de l'archéologie et du patrimoine, Division monuments et sites avait également fait savoir, dans son courrier du 24 novembre 2022, que la note était en suspens. La cour cantonale ne pouvait donc considérer que le bâtiment bénéficiait d'une note 3 sans instruire la question. Le recourant A.________ ajoute que la cour cantonale n'aurait pas tenu compte des travaux déjà réalisés au centre du village ainsi que d'un rapport du 5 juin 2020 traitant de cette réorganisation.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), hormis dans les cas visés à l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'art. 95 LTF et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 148 I 160 consid. 3; 145 V 188 consid. 2; 142 II 355 consid. 6; 139 II 373 consid. 1.6). Conformément à l'art. 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. À défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (ATF 148 I 160 consid. 3; 145 V 188 consid. 2; 137 II 353 consid. 5.1). Il n'y a arbitraire dans l'établissement des faits ou l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. ATF 148 IV 39 consid. 2.3.5; 146 IV 88 consid. 1.3.1; 144 II 281 consid. 3.6.2).
3.2. Dans son état de fait, la cour cantonale décrit l'ancienne ferme comme un bâtiment bénéficiant d'une note 4 au recensement architectural. Telle était aussi la description faite par Patrimoine Suisse dans le recours cantonal. La cour mentionne ensuite le contenu de la fiche de recensement du 11 août 2022, précisant que celle-ci est en cours de révision. Elle reprend ensuite le contenu des déterminations de la DGIP du 7 juillet 2022, laquelle expose que la section recensement a été saisie par Patrimoine Suisse d'une demande de révision ponctuelle. Une réévaluation s'en est suivie, reprenant les considérations historiques, la mention du site à l'ISOS avec un objectif de sauvegarde maximal (A); la DGIP déplore que la valeur d'ensemble du site n'ait pas été prise en compte plus tôt et préconise une évaluation plus globale afin de mettre en évidence l'intérêt patrimonial de tout le front sud du village, composé des deux châteaux et de leurs vastes domaines.
La cour cantonale s'est en premier lieu (consid. 3/b/aa) fondée sur le classement ISOS du site en relevant que la partie de la parcelle où le projet devait s'implanter bénéficiait d'une catégorie d'inventaire AB et d'un objectif de sauvegarde A préconisant la sauvegarde de la substance et l'interdiction des démolitions et des constructions nouvelles. Elle a également retenu que la parcelle n° 480 constitue un jardin historique certifié ICOMOS et que les bâtiments sont situés aux abords de nombreux monuments historiques eux-mêmes inscrits à l'inventaire. C'est dans une seconde partie de son raisonnement (consid. 3/b/bb) que la CDAP a considéré que la note du recensement architectural avait changé en cours de procédure et était passée de 4 à 3, ce qui ne permettait plus une démolition/reconstruction. Ainsi, s'il est inexact de considérer que l'attribution de la note 3 était définitivement acquise au moment où le Tribunal cantonal a statué, cela n'a pas d'influence sur l'issue de la procédure. Il apparaît en effet que, plus que le classement lui-même au recensement architectural, ce sont les raisons qui ont conduit au réexamen de l'évaluation, dûment expliquées en procédure cantonale par le service spécialisé, qui apparaissent déterminantes. Les recourants n'invoquent au demeurant aucune disposition ou principe de droit qui empêcherait la cour cantonale de tenir compte, au moment où elle a statué, du processus de réévaluation qui était alors en cours.
3.3. Le recourant se plaint également de ce que l'arrêt cantonal ignore le rapport de réorganisation du centre du village du 5 juin 2020, faisant suite aux travaux (démolitions/constructions) déjà réalisés dans les secteurs "Sous l'Église" et "Autour de l'Église". La cour cantonale s'est toutefois prononcée à ce sujet en relevant que le rapport en question ne pouvait être considéré comme une analyse détaillée, dès lors qu'il consistait en un simple exposé des projets de développement urbains du village et que la DGIP n'avait pas été consultée à ce sujet.
Le document en question, élaboré par le bureau d'architectes auteur du projet litigieux, expose le projet de réaménagement et de densification par étapes du centre du village de Mex. Il distingue trois secteurs voisins : "Autour de l'Église et Sous l'Église", déjà réalisé par la démolition de plusieurs bâtiments, le déplacement d'une fosse à purin et la construction de trois bâtiments de logements; le secteur "Prieuré", directement au sud, concernant la démolition/reconstruction de la ferme faisant l'objet du présent litige; le secteur "Chemin de l'Oie/Nouvelle Ferme", situé plus à l'est. A l'appui du projet concernant la ferme Le Prieuré, il est expliqué qu'un certain mimétisme a été recherché avec le milieu villageois; le bâtiment actuel est en mauvais état (structure porteuse affaiblie, murs en pierre et charpente fragilisés), il ne serait plus fonctionnel à cet endroit du village et ne se prêterait pas à une lourde transformation en habitat. Ce document ne contient toutefois aucune appréciation relative à la protection du patrimoine telle qu'elle est voulue par l'ISOS, voire même par le recensement architectural de l'époque qui fait état d'une note 4 (bonne intégration et participation à l'identité de la localité). Dès lors, l'appréciation de la cour cantonale selon laquelle le rapport en question constituait davantage l'exposé d'un projet de développement qu'un document consacré à une réelle pesée d'intérêts, n'apparaît nullement arbitraire.
Les griefs d'établissement inexact des faits doivent ainsi être écartés.
Invoquant son droit d'être entendue, la commune recourante reproche à la cour cantonale de n'avoir pas donné suite à sa demande d'inspection locale. Une telle mesure aurait permis de constater que la ferme "Le Prieuré" est vétuste et sans utilité pour son propriétaire, qu'elle ne peut être transformée en habitations et qu'elle est en inadéquation avec la restructuration du centre du village actuellement en cours, alors que le bâtiment projeté formera un ensemble avec les constructions achevées en 2020. La cour cantonale ne pouvait rejeter cette offre de preuve en se fondant sur la note 3 attribuée au recensement architectural dès lors que cette évaluation n'était pas encore définitive.
4.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. comprend le droit pour l'intéressé de produire des preuves pertinentes et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (cf. ATF 148 II 73 consid. 7.3.1; 145 I 167 consid. 4.1; 142 III 48 consid. 4.1.1 et les arrêts cités). De jurisprudence constante, l'autorité peut renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (ATF 145 I 167 consid. 4.1; 144 II 427 consid. 3.1.3; 140 I 285 consid. 6.3.1).
4.2. La décision de la cour cantonale est fondée sur des considérations relatives à la protection des monuments, au regard de l'inventaire cantonal et de l'ISOS. Les éléments dont se prévaut la commune ont été dûment invoqués dans la procédure cantonale en réponse au recours et n'ont nullement été contestés; ils peuvent être considérés comme admis mais ont été jugés comme dénués de pertinence au vu des considérations relatives à la protection du patrimoine bâti qui doivent, comme on le verra (consid. 5 ci-dessous), l'emporter. Le rejet de la demande d'inspection locale ne viole dès lors pas le droit d'être entendu.
4.3. Incidemment, les recourants soutiennent qu'ils auraient dû être entendus dans le cadre de la réévaluation de l'inventaire cantonal. Comme cela est relevé ci-dessus, la procédure de révision formelle n'était, au moment du prononcé de la cour cantonale, pas encore achevée. Quoiqu'il en soit, s'agissant d'une procédure distincte, la question du droit d'être entendu dans ce cadre n'a pas à être examinée. En revanche, dans le cadre de la procédure de recours cantonale, Patrimoine Suisse a d'emblée relevé qu'une demande de réévaluation était en cours d'examen. La DGIP a quant à elle confirmé qu'une demande de révision ponctuelle du recensement avait été présentée par Patrimoine Suisse. Les recourants ont répondu au recours en considérant que les bâtiments étaient toujours recensés en note 4, mais la réplique de Patrimoine Suisse fait état d'un recensement en note 3, et la nouvelle fiche est annexée à cette écriture qui a été transmise aux recourants le 27 septembre 2022. Ceux-ci n'ont pas réagi avant le prononcé de l'arrêt attaqué, le 20 juin 2023. Ils ne sauraient ainsi prétendre que la question de la révision du recensement architectural était nouvelle, ni qu'ils n'ont pas eu l'occasion de se prononcer à ce propos.
Les griefs relatifs au droit d'être entendu doivent ainsi être écartés.
Sur le fond, les recourants se plaignent d'une violation de l'autonomie communale et d'arbitraire. Les objectifs de l'ISOS ne seraient pas directement applicables et une atteinte à un site ISOS serait en soi possible au regard de l'objectif de protection. Il en irait de même pour le recensement ICOMOS. Les recourants insistent sur le fait que le projet litigieux s'inscrirait dans le cadre du réaménagement du centre du village initié en 2015 en collaboration avec les autorités cantonales de protection du patrimoine et à la suite d'une analyse approfondie, et déjà partiellement réalisé. La note au recensement architectural était de 4 au moment déterminant où la commune a statué, de sorte que celle-ci conservait un large pouvoir d'appréciation et pouvait autoriser une démolition. Il en irait de même en cas d'attribution d'une note 3 puisque les bâtiments ne doivent dans ce cas être conservés qu'en principe (art. 36 al. 3 du règlement sur le plan général d'affectation et de la police des constructions - RPGAC). Au vu de la vétusté du bâtiment, de son manque d'utilité, de l'impossibilité de le transformer en habitation et de son inadéquation avec la restructuration du centre du village, une démolition se justifiait.
5.1. Selon l'art. 6 al. 1 de la loi fédérale sur la protection de la nature et du paysage (LPN; RS 451), l'inscription d'un objet d'importance nationale dans un inventaire fédéral au sens de l'art. 5 LPN indique que l'objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible, y compris au moyen de mesures de reconstitution ou de remplacement adéquates. L'effet de protection ne se déploie en principe que dans le cadre de l'accomplissement de tâches fédérales (cf. art. 6 al. 2 en relation avec l'art. 2 LPN). En dehors de ce cadre, la protection des sites est assurée en premier lieu par le droit cantonal. Les inventaires fédéraux doivent toutefois être pris en compte dans les plans d'affectation, dans l'interprétation de notions indéterminées du droit de la construction ainsi que dans toute pesée d'intérêts qui doit être effectuée dans les cas particuliers (cf. en particulier ATF 135 II 209 consid. 2.1; arrêts 1C_607/2021 du 19 juin 2023 consid. 3.1; 1C_643/2020 du 7 janvier 2022 consid. 3.2).
Selon la mesure C11 du Plan directeur du canton de Vaud, les inventaires relatifs à la protection du patrimoine culturel sont intégrés dans toutes les planifications et constituent des données de base pour les projets cantonaux, régionaux ou communaux. L'ISOS dispose d'un effet d'alerte, soit un effet qui n'est pas directement contraignant, mais doit être concrétisé par les dispositions adéquates (arrêts 1C_312/2022 du 14 mars 2024 consid. 3.4; 1C_607/2021 du 19 juin 2023 consid. 3.1).
5.2. À teneur de l'art. 86 al. 1 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS/VD 700.11), la Municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement. Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (art. 86 al. 2 LATC). L'alinéa 3 de cette disposition prévoit que les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords.
En vigueur depuis le 1er juin 2022, la loi cantonale sur la protection du patrimoine culturel immobilier (LPrPCI, RS/VD 451.16) reprend les principes de l'ancienne loi sur la protection de la nature des monuments et des sites (aLPNMS). Selon l'art. 8 LPrPCI, les communes participent à la protection du patrimoine culturel immobilier et prennent les mesures suivantes à cet effet : a) elles réglementent la protection du patrimoine culturel immobilier, en particulier celui d'importance locale ou ne faisant l'objet d'aucune mesure de protection cantonale; b) dans leur planification, elles intègrent les inventaires fédéraux prévus à l'article 5 LPN, les inventaires d'importance régionale, le recensement architectural, les objets inscrits à l'inventaire ou classés ainsi que les sites et les régions archéologiques. Pour ce faire, elles se basent sur le préavis du département; c) dans le cadre de l'octroi des permis de construire, elles prennent en considération les objectifs de sauvegarde énoncés par les inventaires fédéraux prévus à l'article 5 LPN et favorisent la préservation des objets du patrimoine culturel immobilier en se basant sur le recensement et les décisions de classement et d'inscription à l'inventaire mentionnés à la lettre b.
Conformément à l'art. 14 al. 3 LPrPCI, une note est attribuée à chaque objet recensé. Des notes de sites peuvent être attribuées si cela se justifie. La signification de chaque note est donnée par le règlement d'application de la loi (RLPrPCI).
5.3. Au niveau communal le RPGAC comporte, outre une règle générale sur l'esthétique des constructions (art. 35), une disposition relative au recensement architectural (art. 36). Les paragraphes 3 et 4 de cette disposition ont la teneur suivante :
Les bâtiments ou parties de bâtiment remarquables ou intéressants du point de vue architectural ou historique doivent être en principe conservés. Des transformations, de modestes agrandissements, un changement d'affectation sont toutefois possibles si ces modifications sont objectivement fondées et si elles sont compatibles avec la conservation et la mise en valeur des bâtiments.
Les bâtiments bien intégrés peuvent être modifiés le cas échéant, faire l'objet de démolition et de reconstruction pour des besoins objectivement fondés et pour autant que soit respecté le caractère spécifique de leur intégration et l'harmonie des lieux. La Municipalité peut refuser le permis de construire pour un projet qui compromettrait le caractère architectural du bâtiment, notamment par une suroccupation du volume existant.
5.4. Le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal (art. 95 LTF). Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal ou communal (ATF 146 II 367 consid. 3.1.5). Il contrôle librement si l'autorité judiciaire a respecté la latitude du jugement découlant de l'autonomie communale (ATF 145 I 52 consid. 3.1). Lorsqu'il s'agit d'examiner l'application de clauses d'esthétique ou d'intégration, le Tribunal fédéral fait en outre preuve de retenue dans l'appréciation des circonstances locales. Dans ce domaine, les autorités locales disposent en effet d'un large pouvoir d'appréciation (cf. ATF 142 I 162 consid. 3.2.2; 132 II 408 consid. 4.3). C'est le cas notamment lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (ATF 115 Ia 114 consid. 3d; arrêts 1C_ 340/2020 du 25 février 2021 consid. 2.3; 1C_104/2020 du 23 septembre 2020 consid. 2.3).
5.5. La décision attaquée repose sur le fait que le village de Mex est classé à l'ISOS en tant qu'ancien village agricole sur un étroit glacis, adossé à la colline. Le bâti est organisé sur quatre rues formant un carré avec la présence marquante de deux châteaux, des 16e et 17e siècles, avec leurs parcs et leurs communs. La parcelle n° 480 est rattachée au périmètre P1 et à l'ensemble EI qui forme le noyau villageois. Le périmètre est classé en catégorie d'inventaire AB, avec un objectif de sauvegarde A, ce qui implique la sauvegarde de la substance, la conservation intégrale de toutes les constructions et composantes du site, de tous les espaces libres et la suppression des interventions parasites; les démolitions et constructions nouvelles sont interdites et des prescriptions détaillées doivent être adoptées en cas d'intervention.
Manifestement, l'autorisation de construire méconnaît cet objectif clair de protection. Or, comme on l'a vu, les objectifs des inventaires fédéraux tels que l'ISOS doivent, même lorsqu'ils n'ont pas encore trouvé de concrétisation dans la réglementation cantonale et communale, être pris en considération dans le cadre de la pesée d'intérêts à laquelle doit se livrer l'autorité accordant un permis de démolir ou de construire, comme le rappellent par ailleurs les dispositions cantonales et communales précitées. Les recourants se prévalent du projet de restructuration du village, déjà partiellement réalisé. Ils ne prétendent toutefois pas - et cela ne ressort pas non plus du rapport du 5 juin 2020 - que les objectifs de protection résultant de l'ISOS aient été d'une quelconque manière pris en considération dans ce cadre. Il n'y a pas lieu de s'interroger ici sur la conformité de première phase de réalisation affectant la partie centrale du périmètre 1. La partie nord-ouest de la parcelle n° 480, clairement séparée de ce secteur par la rue du Prieuré, doit en effet être appréciée pour elle-même; elle est constitutive des qualités spatiales remarquables attribuées au site, caractérisées par une imbrication très intéressante entre la composante principale agricole et les deux cellules des châteaux. Le bâtiment agricole touché par le projet illustre parfaitement ces caractéristiques puisqu'il se trouve à la limite des deux ensembles emblématiques du château d'En-Haut et du château d'En-Bas (bâtiments faisant l'objet d'une notation 1 et d'une mise à l'inventaire), auxquels il a été successivement rattaché, et accolé au bâtiment ECA 79 "Le Cabaret" qui bénéficie lui aussi d'une protection particulière (note 2 et mis à l'inventaire également).
Force est de constater que le permis de construire ne se prononce nullement sur la prise en compte des objectifs de protection poursuivis par l'ISOS, alors même que la DGMR avait déploré dans son préavis l'absence de conservation du bâtiment. L'autorité communale n'ayant pas suffisamment tenu compte des intérêts en présence, l'annulation du permis de construire par la cour cantonale ne viole nullement son autonomie (cf. ATF 145 I 52 consid. 3.6).
5.6. Enfin, bien qu'elle invoque le principe de la proportionnalité, la commune ne motive nullement son grief conformément aux exigences de l'art. 106 al. 2 LTF, de sorte qu'il est irrecevable. Le recourant ne s'en prévaut pas non plus.
Sur le vu de ce qui précède, les recours sont rejetés dans la mesure où ils sont recevables. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). La commune en est exonérée (art. 66 al. 4 LTF). Les deux recourants sont par ailleurs tenus au paiement d'une indemnité de dépens en faveur des intimées Patrimoine Suisse et Patrimoine Suisse Section vaudoise, qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 2 LTF).
Les causes 1C_400/2023 et 1C_408/2023 sont jointes.
Les recours sont rejetés dans la mesure où ils sont recevables.
Un émolument judiciaire de 4'000 fr. est mis à la charge du recourant A.________ (cause 1C_408/2023). Il n'est pas perçu de frais judiciaires dans la cause 1C_400/2023.
Les indemnités de dépens suivantes sont allouées aux intimées Patrimoine Suisse et Patrimoine Suisse Vaud :
4.1. 3'000 fr. à la charge de la commune de Mex;
4.2. 3'000 fr. à la charge de A.________.
Le présent arrêt est communiqué aux mandataires des parties, à la Direction générale des immeubles et du patrimoine du canton de Vaud, et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 24 mai 2024
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Kurz