Art. 24c LAT and transformation of an agricultural annexGénéré par IA

{T 0/2}
1A.190/2006 /col

Arrêt du 11 juin 2007
Ire Cour de droit public

Composition
MM. les Juges Féraud, Président,
Fonjallaz et Eusebio.
Greffière: Mme Truttmann.

Parties
A.________,
B.________,
C.________, D.________ et E.________,
recourants,
tous représentés par Me Jean-Claude Morisod, avocat,

contre

F.________,
intimé,
Commune d'Ependes, 1731 Ependes,
Préfet du district de la Sarine, Grand'Rue 51,
case postale 96, 1702 Fribourg,
Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg,
case postale, 1701 Fribourg,
Tribunal administratif du canton de Fribourg,
IIème Cour administrative, route André-Piller 21,
case postale, 1762 Givisiez.

Objet
art. 24c LAT; transformation d'une annexe en zone agricole,

recours de droit administratif contre l'arrêt du Tribunal administratif du canton de Fribourg du 6 juillet 2006.

Faits:
A.
Situé en zone agricole sur le territoire de la Commune d'Ependes dans le canton de Fribourg, le château du Petit-Ependes a été construit en 1693. Dès son origine, cette bâtisse comportait une annexe à son angle nord, faisant un retour en équerre vers le sud-est. Construite sur pilotis, cette annexe (ci-après: l'annexe n°1), comportait à l'étage, adossé au château, un appentis dit "chambre du fiancé", ainsi qu'une galerie qui menait aux latrines. Le rez-de-chaussée de la galerie était fermé par des claies et des planches, sauf sur le côté sud-est.
B.
En 1970, la famille A.________, alors propriétaire des lieux, a construit en dur le rez-de-chaussée de la galerie, tout en maintenant en l'état l'appentis.
C.
Sur la base d'un permis de construire obtenu le 9 août 1973, la famille A.________ a procédé à la démolition de la totalité de la galerie, sauf la chambre du fiancé, pour agrandir le 1er étage de l'annexe n° 1. Au lieu de créer des combles d'une hauteur d'environ 1 m 20 au faîte, telles que prévues par le permis, un deuxième étage habitable a été construit sans autorisation, avec une toiture en forme de "shed". Il en est résulté une construction particulièrement disgracieuse, accolée au bâtiment historique.
D.
En 1978, la famille A.________ a présenté une nouvelle demande en vue d'agrandir le bâtiment construit en 1973. Son projet a été refusé par l'ancienne Commission des monuments historiques et des édifices publics (actuellement: la Commission des biens culturels; ci-après: la Commission), qui l'a jugé d'une esthétique déplorable.
Sur la base d'esquisses élaborées par la Commission, de nouveaux plans pour une première étape des travaux ont été produits et un permis de construire a été délivré le 20 mars 1979. Les travaux ont consisté en la construction d'une nouvelle villa (annexe n° 2) faisant équerre avec l'annexe n° 1, modifiée en conséquence.
L'autorisation spéciale accordée le 14 mars 1979 par l'Office cantonal de l'aménagement du territoire soulignait cependant que "l'achèvement de l'ensemble des travaux, soit les 1ère et 2ème étapes, devait se faire sur la base des esquisses établies en avril 1978 par la Commission et qui faisaient partie intégrante de l'autorisation. D'autre part, le requérant était invité à assurer le raccordement des toitures entre le nouveau bâtiment et l'ancien de manière satisfaisante sur le plan esthétique".
Dans une note du 20 mars 1979 figurant au dossier, D.________ a précisé que les plans, objets du permis de 1979, concernaient la première étape des transformations; l'étape finale devait être entreprise ultérieurement et devrait donc faire l'objet d'une nouvelle demande de permis de construire.
E.
En 1985, F.________ a acquis la parcelle n° 457 RF supportant le château (immeuble n° 34). Il a également acheté, le 25 septembre 1991, l'annexe n° 1 (immeuble n° 36). La famille A.________ est actuellement propriétaire de l'annexe n° 2 (immeuble n° 38).
F.
Après avoir déposé plusieurs demandes, F.________ a requis le 8 mai 2004, un nouveau permis de construire visant la transformation de l'annexe n° 1. Le 9 juin 2004, la famille A.________ a déposé une opposition reprenant les critiques qu'elle avait déjà formulées à l'encontre des requêtes antérieures.
En substance, le projet visait l'amélioration de l'esthétique de l'ensemble en enlevant le 2ème étage de l'annexe n° 1 et "son intégration dans l'annexe n° 2"; la restitution du volume original de l'élément historique encore existant de l'annexe n° 1, à savoir le passage entre le château et l'annexe, tout en y rétablissant les anciens volumes à l'intérieur également; l'aménagement d'un accès sur l'axe principal du château.
La Direction de l'aménagement, de l'environnement et des constructions (DAEC) a accordé l'autorisation spéciale requise par F.________ par décision du 1er décembre 2004. Elle s'est fondée sur les préavis positifs, avec conditions, de la commune et de tous les services consultés - notamment de la Commission. Cette dernière s'est référée au rapport de base du Service des biens culturels du 3 mai 2001 selon lequel:
"Bref historique du dossier

La Commission a émis en 1978 un préavis dans le cadre d'une demande de permis pour la construction d'une annexe.
L'objectif de la Commission était la mise en valeur de l'édifice du château en précarisant l'existence de l'annexe n° 36. Sur la base des besoins et des droits du propriétaire de l'époque, la Commission avait envisagé la démolition de l'annexe au profit de la construction d'un nouveau bâtiment indépendant.
Le propriétaire de l'époque a construit partiellement le bâtiment indépendant tout en conservant l'annexe n° 36.
L'autorisation spéciale a été délivrée notamment à la condition que les travaux ultérieurs sur les annexes se fassent sur la base des esquisses établies à l'époque par le Service des monuments historiques.
Le propriétaire de l'époque a vendu l'édifice principal avec l'annexe n° 36. Il est resté propriétaire du bâtiment n° 38, adossé à l'annexe n° 36.

Examen du projet présenté

La mise en valeur de l'édifice du château doit rester l'objectif prépondérant. Les moyens pour atteindre cet objectif doivent toutefois être évalués dans le respect du principe de la proportionnalité en tenant compte des droits du propriétaire actuel en application des dispositions légales et réglementaires relatives aux constructions hors zone à bâtir.

L'annexe dont la Commission avait demandé la démolition en 1978 comprend encore des éléments d'une ancienne galerie qui conduisait aux latrines. Le projet déposé prévoit la conservation des éléments de l'ancienne galerie et la reconstruction de l'annexe dans une forme qui s'adapte au bâtiment n° 38. Il présente l'avantage de dégager la façade de l'édifice principal.

Le projet améliore de manière sensible la situation non seulement en réduisant l'effet de l'annexe sur le bâtiment principal, mais également en réhabilitant l'accès originel à l'édifice (...)".

Sur cette base, le DAEC a considéré que l'extension de la surface habitable apparaissait conforme aux principes fixés par le droit fédéral, que le projet améliorait sensiblement l'aspect architectural du bâtiment existant et qu'il pouvait être admis au titre de transformation partielle.
Le 13 janvier 2005, le Préfet du district de la Sarine (ci-après: le Préfet) a accordé le permis de construire sollicité. Il a considéré que la demande du 8 mai 2004 consistait en une demande de permis à part entière et non pas en une modification des demandes antérieures. Partant, il a décidé que ce permis annulait et remplaçait les deux précédents.
Le 16 février 2005, la famille A.________ a recouru auprès du Tribunal administratif du canton de Fribourg (ci-après: le Tribunal administratif) contre les décisions du DAEC du 1er décembre 2004 et du Préfet du 13 janvier 2005.
Par arrêt du 6 juillet 2006, le Tribunal administratif a rejeté le recours. Il a estimé que, en tenant compte de toutes les circonstances, comparé à la situation actuelle, le projet litigieux améliorait grandement le site historique du château dans son ensemble et celui de l'annexe en particulier. La surface brute habitable n'étant pas augmentée et le projet améliorant sensiblement le site, la transformation en cause satisfaisait aux exigences majeures de l'aménagement du territoire et s'avérait par conséquent conforme à l'art. 24c LAT. Afin de respecter l'interdiction d'augmenter la surface brute habitable, F.________ devait toutefois procéder à une modification interne. Ce détail ne justifiait cependant pas une nouvelle enquête.
G.
Agissant par la voie du recours de droit administratif et de droit public, A.________, B.________, C.________, D.________ et E.________ demandent au Tribunal fédéral d'annuler l'arrêt rendu par le Tribunal administratif le 6 juillet 2006 et de renvoyer la cause à cette autorité pour nouvelle décision dans le sens des considérants. A l'appui de leur recours de droit administratif, ils se plaignent d'une violation des art. 105 OJ et 24c LAT. Dans le cadre de leur recours de droit public, ils invoquent l'arbitraire dans l'appréciation des preuves et dans l'application du droit cantonal et font valoir une violation de leur droit d'être entendus.
Le Tribunal administratif et le Préfet ont conclu au rejet des recours en renvoyant à la décision attaquée. La Commune d'Ependes n'a pas formulé d'observations. Le DAEC a proposé le rejet des recours. F.________ s'est quant à lui prononcé en faveur du rejet des recours dans la mesure de leur recevabilité.
L'Office fédéral du développement territorial (ARE), eu égard à la complexité du dossier et aux questions ouvertes, a conclu à l'admission du recours et au renvoi du dossier aux autorités cantonales.
Le Tribunal administratif a persisté dans ses conclusions. Les consorts A.________ ont précisé les conclusions de leur recours de droit administratif. Ils demandent en plus au Tribunal fédéral de dire que les autorisations spéciales du 2 mai 2002 et du 17 novembre 2003 sont caduques, subsidiairement annulées; que le permis de construire du 12 juillet 2002, la décision préfectorale du 28 juillet 2002 et le permis de construire du 28 novembre 2003 sont annulés par le permis de construire du 13 janvier 2005, subsidiairement que ces décisions sont annulées; que l'autorisation spéciale du 1er décembre 2004 et le permis de construire du 13 janvier 2005 sont annulés; en particulier que la construction d'une barrière métallique et de trois pylônes au bout du chemin de servitude n'est pas autorisée et que l'abri à vélos sera reculé d'un mètre vers l'ouest pour dégager la place et permettre la sortie des véhicules du requérant en marche avant sur la route communale; la transformation du bâtiment érigé sur l'article 459 du registre foncier d'Ependes suivra dans sa volumétrie et dans le raccordement de toiture, les plans autorisés, d'une part, par le permis de construire du 22 mars 1979 sur la base des plans esquissés en avril 1978 par le service des monuments historiques et sur la base d'un nouveau plan de situation du 11 mai 1978 et, d'autre part, par l'autorisation spéciale de l'office cantonal de l'aménagement du territoire du 14 mars 1979, ce qui inclut la démolition de la partie intermédiaire entre le château (art. 457) et la partie devant de la villa (art. 458). Elle sera exécutée dans le délai fixé par le juge afin de terminer la construction selon lesdites autorisations; la restitution de l'appentis soutenu par des piliers de bois, appelé "chambre du fiancé" est cependant autorisée. Son toit d'un seul pan s'appuiera sur la poutre horizontale adossée au mur oriental du château. En plan, il aura les dimensions approximatives suivantes; couloir: 2 m 70 x 1 m 20; chambre: 2 m 70 x 2 mètres.
F.________ a maintenu ses conclusions et a conclu à l'irrecevabilité de celles nouvellement présentées par les consorts A.________.
Par ordonnance du 11 octobre 2006, le Président de la Ire Cour de droit public a admis la demande d'effet suspensif formulée par les consorts A.________.

Le Tribunal fédéral considère en droit:
1.
La décision attaquée ayant été rendue avant le 1er janvier 2007, la loi fédérale d'organisation judiciaire (OJ) demeure applicable à la présente procédure de recours (art. 132 al. 1 LTF). L'ancien art. 34 LAT, en vigueur jusqu'au 31 décembre 2006, demeure lui aussi applicable dans la présente procédure (cf. art. 53 al. 1 de la loi sur le Tribunal administratif fédéral [LTAF; RS 173.32], en relation avec le ch. 64 de l'annexe de cette loi).
2.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 132 III 291 consid. 1 p. 292; 131 II 571 consid. 1 p. 573; 130 I 312 consid. 1 p. 317 et les arrêts cités).
3.
Les recourants ont formé, dans une même écriture, un recours de droit public et un recours de droit administratif. Cette manière de procéder est admise par la jurisprudence; toutefois, en vertu de la règle de la subsidiarité du recours de droit public énoncée à l'art. 84 al. 2 OJ, il convient de vérifier en premier lieu la recevabilité du recours de droit administratif (ATF 128 II 13 consid. 1a p. 16; 126 I 97 consid. 1c p. 101).
4.
Aux termes de l'art. 34 al. 1 aLAT, la voie du recours de droit administratif est ouverte contre les décisions prises, comme en l'espèce, par l'autorité cantonale de dernière instance sur des demandes de dérogation en vertu des art. 24 à 24d LAT.
Seul le recours de droit administratif est donc ouvert; le recours de droit public, irrecevable, peut cependant être traité comme un recours de droit administratif car il satisfait aux conditions de recevabilité de ce moyen de droit (ATF 127 II 198 consid. 2a p. 203; 126 II 506 consid. 1b p. 509; 124 I 223 consid. 1c p. 224 et les arrêts cités).
5.
Le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès ou l'abus du pouvoir d'appréciation (art. 104 let. a OJ). Dans le cadre d'un tel recours, le Tribunal fédéral contrôle d'office l'application du droit fédéral, qui englobe notamment les droits constitutionnels (ATF 130 II 337 consid. 1.3 p. 341). N'étant pas lié par les moyens qu'invoquent les parties (art. 114 al. 1 in fine OJ), il peut admettre le recours pour d'autres motifs que ceux dont se prévaut le recourant ou, à l'inverse, confirmer la décision entreprise par substitution de motifs (ATF 132 II 257 consid. 2.5 p. 262).
Les recourants sont incontestablement touchés plus que quiconque par les transformations prévues sur le terrain directement attenant à leur propriété. Ils ont donc la qualité pour agir (art. 103 let. a OJ). Pour le surplus, le recours a été formé en temps utile. Il y a donc lieu d'entrer en matière.
6.
Les conclusions doivent être prises dans le cadre des questions qui ont été l'objet de la procédure antérieure et constituent le "Streitgegendstand". Celles qui en dépassent les limites, soit les questions dites nouvelles, sont irrecevables (André Grisel, Traité de droit administratif, Neuchâtel 1984, volume II, p. 914). En cours de procédure, les conclusions ne peuvent pas être modifiées mais elles peuvent être précisées (ATF 133 II 30 consid. 2 p. 31 s.). En l'espèce, les amendements apportés par les recourants ne peuvent pas réellement être considérés comme des conclusions nouvelles. Si les conclusions sont techniquement remaniées, il ne s'agit cependant que de précisions. Les recourants n'ont d'ailleurs fait que reprendre les conclusions qu'ils avaient déjà formulées devant le Tribunal administratif. Elles sont donc en principe recevables.
7.
7.1 Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus. Ils reprochent à l'autorité cantonale de ne pas avoir examiné leurs griefs relatifs aux permis de 2002 et ceux concernant la piscine et la serre. Le Tribunal administratif ne se serait pas non plus prononcé sur leur demande de déplacement d'une barrière métallique. Enfin, la note du 20 mars 1979 ne leur aurait pas été soumise.
7.2 Les recourants invoquent en réalité un déni de justice s'agissant des premiers points. L'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinente pour l'issue du litige commet en effet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (ATF 117 Ia 116 consid. 3a p. 117). L'interdiction du déni de justice est un droit de nature formelle dont la violation entraîne l'annulation de la décision attaquée, indépendamment du sort du recours sur le fond (cf. ATF 121 I 230 consid. 2a p. 232 et les arrêts cités).
7.3 En l'espèce, l'état de fait précise expressément que le préfet, par décision du 13 janvier 2005, a jugé que le permis octroyé annulait et remplaçait les deux précédents. Dans ces conditions, l'autorité cantonale n'était pas contrainte d'examiner des griefs liés aux procédures antérieures.
7.4 La construction d'une piscine et d'une serre figurait certes dans les anciennes demandes de construire. Force est toutefois de constater qu'elle n'est plus mentionnée dans celle en cause et qu'elle n'a pas été autorisée par les décisions du 1er décembre 2004 et du 13 janvier 2005 (cf. consid. F). Il n'y avait donc pas lieu d'en tenir compte. Ces éléments n'étaient dès lors pas pertinents et c'est avec raison que le Tribunal administratif a renoncé à les traiter.
7.5 Dans leur recours au Tribunal administratif, les recourants ont exposé qu'ils disposeraient d'un droit de passage pour voitures. Par conséquent, les plantations, le mur de l'abri à vélo et le portail qui seraient construits en limite du droit de passage ne permettraient pas l'exercice commode du passage en voiture. Le mur ne devrait donc pas être construit, les plantations retirées à distance et le pilier du portail déplacé vers l'ouest.
On ne saurait reprocher au Tribunal administratif de ne pas avoir traité cette question. Ce dernier a au contraire retenu que le point de savoir si les aménagements contestés rendaient effectivement incommode l'exercice du droit de servitude pouvait prêter à discussion. Il a au demeurant jugé qu'un permis de construire n'avait pas pour fonction d'imposer le respect de règles de droit civil et encore moins de faire respecter les conventions privées passées entre les parties.
7.6 Enfin, le grief relatif à la note de 1979 relève quant à lui expressément du droit d'être entendu. Il n'est cependant pas nécessaire de s'étendre à ce sujet puisque, comme l'a relevé le Tribunal administratif, cette note figurait au dossier, de sorte que les recourants ont bénéficié de la possibilité de s'exprimer à son sujet.
Il s'ensuit que les griefs tirés d'un déni de justice ainsi que du droit d'être entendu doivent être rejetés.
8.
8.1 Les recourants soutiennent ensuite que les faits constatés seraient manifestement incomplets et inexacts. Ils font valoir des critiques quant à la hauteur du toit, aux raisons du refus de leur projet de 1978, à la restitution de la galerie dans ses anciens volumes et à l'acquisition des bâtiments.
8.2 L'arrêt attaqué émanant d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris des règles essentielles de la procédure (art. 105 al. 2 OJ).
En l'espèce, l'arrêt entrepris échappe cependant à toute critique. Les faits constatés sont parfaitement suffisants pour la résolution du cas et ils ne contiennent pas d'inexactitudes manifestes. Les griefs des recourants ne concernent que des détails qui n'ont pas de réelle importance pour l'issue du litige. Le grief doit dès lors être rejeté.
9.
9.1 Les recourants font encore valoir une application arbitraire du droit cantonal. Puisqu'un jugement de dernière instance fixerait l'assiette du droit de passage, le Tribunal administratif aurait dû reconnaître l'évidence de l'étendue du droit civil objecté et non pas considérer que leur droit n'était pas assez évident au regard de l'art. 174 al. 5 LATeC.
9.2 La notion d'arbitraire a été rappelée dans divers arrêts récents auxquels on peut se référer. En bref, il ne suffit pas, pour qu'il y ait arbitraire, que la décision attaquée apparaisse critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais également dans son résultat (cf. ATF 131 I 57 consid. 2 p. 61; 129 I 8 consid. 2.1 p. 9, 173 consid. 3.1 p. 178).
9.3 Selon l'art. 174 al. 4 de la loi fribourgeoise du 9 mai 1963 sur l'aménagement du territoire et les constructions (LATeC), le préfet qui doit se prononcer sur une demande de permis de construire réserve au juge les contestations qui relèvent du droit civil. Selon l'alinéa 5 de cette même disposition, il peut également suspendre sa décision, jusqu'à droit connu, lorsque le droit privé de l'opposant paraît évident.
9.4 Contrairement à ce que semblent penser les recourants, même si l'autorité cantonale avait considéré que le droit privé était évident, l'art. 174 LATeC n'aurait permis que la suspension de la procédure, ce que le Tribunal administratif n'a pas manqué de relever dans la décision entreprise. Les recourants auraient donc dans tous les cas été amenés à saisir le juge civil. Le grief tiré d'une application arbitraire du droit cantonal doit par conséquent être rejeté.
10.
10.1 Sur le fond, les recourants se plaignent d'une violation de l'art. 24c LAT. Ils font valoir que, puisque l'annexe n° 1 devait être démolie, la surface habitable ayant déjà largement été utilisée dans leur propre villa, l'intimé ne pourrait pas bénéficier de plus de surface constructible que celle accordée par l'autorisation spéciale de 1979, d'autant plus qu'on lui aurait déjà permis de transformer les combles du château et de construire une piscine et une serre.
10.2 Selon l'art. 24c LAT, les constructions et installations sises hors de la zone à bâtir, qui peuvent être utilisées conformément à leur destination mais qui ne sont plus conformes à l'affectation de la zone, bénéficient en principe de la garantie de la situation acquise (al. 1). L'autorité compétente peut autoriser la rénovation de telles constructions et installations, leur transformation partielle, leur agrandissement mesuré ou leur reconstruction, pour autant que les bâtiments aient été érigés ou transformés légalement. Dans tous les cas, les exigences majeures de l'aménagement du territoire doivent être satisfaites (al. 2).
Le champ d'application de l'art. 24c LAT est restreint aux constructions et aux installations sises hors de la zone à bâtir, qui ne sont plus conformes à l'affectation de la zone à la suite d'un changement de réglementation. La garantie de la situation acquise ne profite ainsi qu'aux constructions érigées ou transformées de manière conforme au droit matériel en vigueur à l'époque (art. 41 OAT; ATF 127 II 209 consid. 2c p. 212). La date déterminante est en principe celle du 1er juillet 1972, date de l'entrée en vigueur de la loi fédérale du 8 octobre 1971 sur la protection des eaux contre la pollution qui a introduit expressément le principe de la séparation du territoire bâti et non bâti (ATF 129 II 396 consid. 4.2.1 p. 398).
Selon l'art. 42 OAT, les constructions et installations pour lesquelles l'art. 24c LAT est applicable peuvent faire l'objet de modifications si l'identité de la construction ou de l'installation et de ses abords est respectée pour l'essentiel. Sont admises les améliorations de nature esthétique (al. 1). Le moment déterminant pour l'appréciation du respect de l'identité est l'état de la construction ou de l'installation au moment de la modification de la législation ou des plans d'aménagement (al. 2). La question de savoir si l'identité de la construction ou de l'installation est respectée pour l'essentiel est à examiner en fonction de l'ensemble des circonstances. Elle n'est en tout cas plus respectée lorsque la surface utilisée pour un usage non conforme à l'affectation de la zone est agrandie de plus de 30 %, les agrandissements effectués à l'intérieur du volume bâti existant comptant pour moitié (al. 3 let. a) ou lorsque la surface utilisée pour un usage non conforme à l'affectation de la zone à l'intérieur ou à l'extérieur du volume bâti existant est agrandie de plus de 100 m2 au total (al. 3 let. b).
10.3 L'art. 24c LAT n'est toutefois pas applicable aux constructions qui sont transformées ou érigées illégalement, même si le rétablissement de l'état conforme au droit n'a pas pu être effectué pour des raisons de proportionnalité, de prescription ou de péremption (Département fédéral de l'environnement, des transports, de l'énergie et de la communication/Office fédéral du développement territorial, Nouveau droit de l'aménagement du territoire. Explications relatives à l'ordonnance sur l'aménagement du territoire et recommandations pour la mise en oeuvre, Berne 2001, onglet I, p. 43; Piermarco Zen-Ruffinen/Christine Guy-Ecabert, Aménagement du territoire, construction, expropriation, Berne 2001, n. 598 p. 280; Bernhard Waldmann/Peter Hänni, Raumplanungsgesetz, Berne 2006, p. 622; arrêt 1A.103/2001 du 5 mars 2002 consid. 3.3.1). Le fait qu'une construction illicite en zone agricole ait été tolérée pendant longtemps par les autorités et que le propriétaire soit dès lors protégé dans sa bonne foi empêche également l'application de l'art. 24c LAT et s'oppose tout au plus à une remise en état des lieux (arrêts 1A.17/2004 du 19 mai consid. 2.2.7 publié in ZBl 106/2005 p. 384 et 1A.42/2004 du 16 août 2004 consid. 3.2 et les références citées publié in SJ 2005 I p. 23). L'art. 24c LAT ne régit donc pas les transformations de constructions qui auraient dû être démolies (arrêt 1A.270/1992 du 8 juin 1993 consid. 4a).
10.4 En l'espèce, une obligation de détruire l'annexe n° 1 est loin d'être évidente au vu du dossier. En particulier, l'autorisation spéciale de 1979 prévoit certes que l'achèvement de l'ensemble des travaux, soit les première et seconde étapes, doivent se faire sur la base des esquisses de 1978. Mais elle prévoit aussi que le requérant doit assurer le raccordement des toitures entre le nouveau bâtiment et l'ancien de manière satisfaisante sur le plan esthétique. Le préavis de la Commission cantonale des monuments historiques et édifices publics prévoit quant à lui que l'annexe ne pourra être restaurée dans l'état actuel. Les murs porteurs seuls pourront être maintenus et intégrés à la nouvelle construction couverte d'un toit à mansarde.
Il n'est pas non plus clair en quoi la seconde étape devait réellement consister. Selon la note de l'un des recourants du 20 mars 1979, cette dernière aurait dû faire l'objet d'une nouvelle demande de permis de construire. Or, une telle requête n'a - au vu du dossier - jamais été déposée. Du reste, on ne trouve nulle part la trace d'un quelconque ordre de démolition.
Au regard de ces incertitudes, il est douteux qu'un renvoi à l'autorité cantonale pour éclaircir ce point - comme le requiert l'Office fédéral du développement territorial - permette de trancher définitivement la question.
Au demeurant, l'intimé a selon toute vraisemblance acquis l'annexe n° 1 de bonne foi. Le dossier ne donne en tout cas aucun indice d'une éventuelle mauvaise foi de sa part et les recourants ne l'invoquent pas non plus explicitement.
L'objectif des recourants est toutefois compréhensible, puisque la destruction de l'annexe n° 1 permettrait de dégager les abords de leur villa. Cela dit, même si l'on devait expressément admettre que l'annexe n° 1 devait être démolie à l'époque et que par conséquent l'art. 24c LAT est inapplicable, cela n'aurait pas pour conséquence directe la démolition de l'annexe n° 1, mais seulement l'interdiction de transformer cette dernière (cf. consid. 10.3). A cet égard, l'attitude des recourants est au demeurant critiquable, puisqu'ils se plaignent d'une situation qu'ils ont eux-mêmes créée. Si la démolition de l'annexe n° 1 revêtait une telle importance à leurs yeux, ils auraient eu tout le loisir d'y procéder pendant qu'ils en étaient encore propriétaires.
Quoi qu'il en soit, le point de vue de l'autorité cantonale paraît tout à fait soutenable. Selon elle, les recourants ne pourraient pas invoquer les esquisses de 1978 pour prétendre que le projet litigieux dénaturerait le site. Ils se tromperaient en croyant que la condition figurant dans l'autorisation spéciale de 1979 imposant de se baser sur les esquisses de la Commission aurait pour effet de forcer l'actuel propriétaire à démolir l'annexe. Le seul objet de cette condition aurait été de s'assurer qu'aucun projet aussi mauvais que celui qu'ils avaient présenté à l'époque ne puisse être réalisé. La référence aux esquisses de 1978 n'aurait eu d'autre but que de guider l'auteur d'un nouveau projet vers une solution respectueuse du site.
Il s'ensuit que l'on ne peut ni inférer du dossier que l'annexe n° 1 aurait véritablement dû être démolie ni critiquer l'appréciation du Tribunal administratif selon laquelle les plans de 1978 n'auraient constitué que de simples directives. Dans ces circonstances, il faut considérer que l'art. 24c LAT est applicable à la présente cause.
11.
11.1
Le Tribunal administratif a retenu que le moment déterminant mentionné par l'art. 42 OAT devait être fixé au mois d'avril 2003, ce qu'aucune des parties ne conteste.
11.2 Le Tribunal administratif a jugé, sur la base des calculs présentés par les parties, que le projet faisait passer la surface brute habitable de 130 m2 25 à 131 m2 13. Il n'est pas sérieusement contesté que le projet de l'intimé ne prévoit qu'un agrandissement modéré. En effet, il maintient les surfaces brutes de plancher existantes. Il conserve également la vocation d'habitat du 1er étage et ne modifie que légèrement l'emplacement des surfaces habitables au rez-de-chaussée. Comme l'explique l'intimé, la transformation entraîne simplement - dans les proportions préexistantes - le déplacement des surfaces annexes. Le fait que ces dernières n'ont pas été prises en considération dans les calculs fondés sur l'art. 42 OAT - alors qu'elles auraient effectivement dû l'être - ne modifie donc pas l'appréciation selon laquelle l'agrandissement prévu est modeste.
Comme on l'a vu ci-dessus (cf. consid. 7.4), contrairement à l'opinion des recourants, il ne se justifie pas de prendre en considération la construction d'une piscine et d'une serre, dont l'existence n'est pas établie.
En ce qui concerne les combles du château, le dossier fait effectivement mention d'un projet de l'intimé sur ce point. Selon les pièces à disposition, ce dernier aurait fait l'objet d'une procédure d'autorisation distincte. On ignore toutefois si le permis a été délivré. Au demeurant, les recourants ne soulèvent pas de grief de constatation inexacte ou incomplète des faits pertinents à cet égard. Cas échéant, cette question pourrait faire l'objet d'une procédure distincte.
11.3 Personne ne nie que les possibilités d'agrandissement de l'annexe n° 1 sont épuisées, et ce dans une mesure qui dépasse largement le maximum de 30 % désormais autorisé par l'art. 24c LAT en relation avec l'art. 42 OAT.
Dans un premier temps, il convient de préciser, à l'instar de l'Office fédéral du développement territorial, que dans la détermination du maximum admissible, le château et les annexes n°s 1 et 2 doivent être considérés comme un tout, en raison du lien matériel qui les unit.
En l'espèce, le dépassement important s'explique selon toute vraisemblance par le fait que lors de l'octroi de l'autorisation spéciale de 1979, ni l'art. 42 OAT, ni l'art. 24 al. 2 aLAT (qui ne prévoyait d'ailleurs pas de maximum admissible, de même que la jurisprudence y relative), n'étaient encore en vigueur.
Il découle de ce qui précède qu'en principe toute modification des constructions est désormais exclue sur la base de l'art. 24c LAT.
11.4 L'art. 24c LAT a introduit un nouveau critère qui est celui de l'esthétique et qui permet de déroger à celui du respect de l'identité de la construction. On ne saurait toutefois en déduire un droit à procéder à des travaux excédant les limites prévues à l'art. 42 al. 3 OAT (Département fédéral de l'environnement, des transports, de l'énergie et de la communication/Office fédéral du développement territorial, op. cit., onglet I, p. 45). Cette dernière disposition prévoit néanmoins que l'examen doit se faire en fonction de l'ensemble des circonstances.
En l'espèce, de l'avis de tous, les constructions existantes sont particulièrement inesthétiques. Or, comme l'a relevé le Tribunal administratif, le projet améliore de manière sensible la situation non seulement en réduisant l'effet de l'annexe sur le bâtiment principal, mais également en réhabilitant l'accès original à l'édifice. De plus, il permet de supprimer le toit mal conçu de l'annexe qui dénature complètement les lieux. Enfin, en examinant le site du château comme un tout, la transformation projetée renforce l'identité du lieu.
Le château du Petit-Ependes est inscrit à l'inventaire des châteaux ballivaux et maisons bourgeoises. L'intérêt à assurer un ensemble architectural harmonieux du site sur lequel ce dernier est bâti revêt dès lors une importance particulière. L'agrandissement prévu étant modeste, il se justifie d'accorder le permis de construire sollicité. L'intérêt esthétique est en effet nettement prépondérant. La démolition de l'annexe n° 1, telle que requise par les recourants, serait en revanche manifestement disproportionnée, ce d'autant plus que l'existence de l'annexe n° 1 est tolérée depuis bientôt trente ans. Le grief tiré d'une violation de l'art. 24c LAT doit donc être rejeté.
12.
Il s'ensuit que le recours de droit administratif doit être rejeté. Le recours de droit public est quant à lui irrecevable. Les recourants, qui succombent, doivent solidairement supporter l'émolument judiciaire (art. 153, 153a et 156 OJ). L'intimé, qui n'a pas mandaté d'avocat, n'a pas le droit à des dépens (art. 159 OJ).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours de droit administratif est rejeté.
2.
Le recours de droit public est irrecevable.
3.
Un émolument judiciaire de 3'000 fr. est mis à la charge solidaire des recourants.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué en copie aux parties, à la Commune d'Ependes, au Préfet du district de la Sarine, à la Direction de l'aménagement, de l'environnement et des constructions et au Tribunal administratif du canton de Fribourg, IIème Cour administrative, ainsi qu'à l'Office fédéral du développement territorial.
Lausanne, le 11 juin 2007
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: