2C_651/2012

{T 0/2}
2C_651/2012

Arrêt du 28 septembre 2012
IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin et Donzallaz.
Greffière: Mme Rochat

Participants à la procédure
X.________,
représenté par Me Nicolas Urech, avocat,
recourant,

contre

Administration cantonale des impôts du canton
de Vaud, route de Berne 46, 1014 Lausanne.

Objet
Impôt fédéral direct 1997 - 2000,

recours contre l'arrêt du Tribunal cantonal du canton
de Vaud, Cour de droit administratif et public, du 31 mai 2012.

Faits:

A.
X.________ exploite le cabinet fiduciaire « X.________ SA », à A.________ (VD). Pendant de nombreuses années, il a été réviseur et représentant de la société B.________ SA (en abrégé: la société), une entreprise générale de maçonnerie, à C.________, dont B.________ était administrateur-président.

Le 28 mars 2000, l'Administration cantonale vaudoise des impôts a ouvert une procédure en soustraction fiscale pour les périodes 1995 à 1999. Le 8 février 2002, X.________ a informé l'Administration cantonale que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B.________ SA avait cessé toute activité au 31 décembre 2001.

Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle a procédé à diverses reprises pour les années de référence, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal (en abrégé: ICC) et à 75'818 fr. 85 pour l'impôt fédéral direct (en abrégé: IFD) durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour l'ICC et à 88'700 fr. pour l'IFD.

Elle a ensuite ouvert, le 15 décembre 2003, une procédure pour participation à une soustraction d'impôt à l'encontre de X.________. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B.________. Elle précisait enfin qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt.

Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X.________ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour l'ICC et 36'000 fr. pour l'IFD. Elle lui a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85, et par les époux B.________ pour les années 1997 à 2001, soit 67'768 fr 80, ainsi que pour les impôts cantonal et communal dus par les époux B.________ en 2001, soit 87'507 fr. 35.

Par décisions du 25 mars 2009, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis partiellement les réclamations formées par X.________ en raison de la prescription. Elle a réduit le montant de l'amende dû pour l'IFD à 27'400 fr. et celui dû pour l'ICC à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B.________.

Le 22 avril 2010, les recours formés par X.________ à l'encontre des décisions du 25 mars 2009 ont été admis par le Tribunal cantonal du canton de Vaud (en abrégé : le Tribunal cantonal), qui a annulé les décisions attaquées. Tout en retenant que X.________ avait gravement violé les dispositions du droit comptable, les juges ont considéré que rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées.

Statuant sur le recours de l'Administration cantonale des impôts, le Tribunal fédéral, par arrêt du 4 novembre 2010 (2C_447/2010), a admis partiellement celui-ci en ce qui concernait l'IFD et l'a rejeté en ce qui concernait l'ICC. Il a ainsi annulé l'arrêt attaqué dans la mesure où il portait sur l'IFD des périodes fiscales 1995 à 2000 et renvoyé la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Le Tribunal fédéral a retenu en bref que la participation de X.________ à des soustractions fiscales consommées devait être reconnue pour les périodes fiscales 1995 à 2000 et qu'il appartenait à la juridiction cantonale d'examiner les conséquences pénales et fiscales de cette participation prévue par l'art. 177 LIFD.

Par arrêt rendu sur renvoi du 17 janvier 2011, le Tribunal cantonal a admis le recours du contribuable en ce qu'il concernait l'ICC et annulé la décision sur réclamation du 25 mars 2009 au sujet de cet impôt. S'agissant de l'IFD, le recours de X.________ a été partiellement admis, dès lors que la prescription absolue avait été atteinte pour 1995. La décision sur réclamation du 25 mars 2009 concernant l'IFD a été réformée en ce sens que X.________ était reconnu solidairement responsable du montant de l'impôt fédéral direct durant les périodes fiscales 1996 à 2000, ce qui correspondait à un montant total de 98'116 fr. (69'249 fr. 95 pour la société et 28'866 fr. 25 pour les époux B.________). L'amende a été fixée à 22'000 fr.

X.________ a recouru à l'encontre de l'arrêt du 17 janvier 2011 auprès du Tribunal fédéral, qui, par arrêt du 25 octobre 2011 (cause 2C_232/2011), a admis, en faveur du contribuable, une violation du droit d'être entendu. L'arrêt attaqué a donc été annulé en tant qu'il concernait l'IFD et la cause renvoyée au Tribunal cantonal pour instruction et nouvelle décision.

B.
Par arrêt du 31 mai 2012, le Tribunal cantonal, statuant sur la participation de X.________ à une soustraction et à l'appel en solidarité de celui-ci pour les périodes fiscales 1995 à 2000 en matière d'IFD, a partiellement admis le recours de l'intéressé et réformé la décision sur réclamation du 25 mars 2009, au motif que les infractions portant sur les périodes fiscales 1996 et antérieures étaient prescrites et que l'audience tenue avait fait apparaître que les taxations de la société pour les années 1999 et 2000 étaient demeurées provisoires, de sorte que la prescription était aussi atteinte concernant celles-ci. Partant, le recourant était reconnu solidairement responsable des 23'110,95 fr. d'IFD soustraits par la société durant les périodes fiscales 1997 et 1998, correspondant à des reprises de 298'500 fr., et des 28'866,25 d'IFD soustraits par les époux B.________ de 1997 à 2000, qui se référaient à des reprises de 524'000 fr. Le montant total de l'amende relative à l'impôt fédéral direct a été fixé à 13'100 fr.

C.
A l'encontre de cet arrêt, X.________ dépose un recours en matière de droit public au Tribunal fédéral dans lequel il conclut à l'annulation de l'arrêt du 31 mai 2012 et au renvoi de la cause au Tribunal cantonal pour qu'il prenne une nouvelle décision dans le sens des considérants, subsidiairement à la réforme de cet arrêt dans le sens que l'assiette de l'IFD, dont il était reconnu responsable solidaire, soit réduite pour tenir compte des charges à fixer par estimation et de la déduction du surplus d'impôts découlant des reprises, les amendes étant, pour leur part, réduites d'au moins deux tiers des montants fixés dans l'arrêt entrepris.

Le Tribunal cantonal se réfère à l'arrêt attaqué. Au terme de ses déterminations, l'Administration cantonale des impôts conclut au rejet du recours dans la mesure de sa recevabilité. L'Administration fédérale des contributions se rallie à la position de l'Administration cantonale et propose le rejet du recours. Le recourant a produit des observations finales, maintenant la position exprimée dans son recours.

Considérant en droit:

1.
Déposé en temps utile (art. 45 al. 1 et 100 al. 1 LTF) contre une décision finale (art. 90 LTF) en matière d'IFD (art. 82 let. a LTF) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), le recours a été formé par le contribuable, destinataire de la décision attaquée, qui a un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF). Il est donc en principe recevable.

2.
Le Tribunal fédéral est lié par ses arrêts rendus sur renvoi, à l'instar de l'autorité à qui la cause est renvoyée, qui ne peut s'écarter des considérants en droit de l'arrêt de renvoi (cf. ATF 131 III 90 consid. 5.2 p. 93). Il ne peut par ailleurs aller au-delà des conclusions des parties (art. 107 al. 1 LTF).

Il découle des arrêts rendus précédemment dans la présente cause (arrêts 2C_232/2011 du 25 octobre 2011 et 2C_447/2010 du 4 novembre 2010) et des conclusions prises par les parties recourantes dans ces procédures que la contestation ne porte plus sur l'ICC, mais seulement sur l'IFD. Le principe de la participation du recourant aux soustractions fiscales relatives à cet impôt a aussi été définitivement tranché et ne peut plus être remis en cause dans la présente procédure, de même que les conditions de la responsabilité pénale du recourant. Quant aux périodes fiscales déterminantes en matière d'IFD, elles vont de 1997-1998 en relation avec la société et de 1997-2000 en ce qui concerne les époux B.________.

L'objet du litige se limite donc désormais à deux aspects : premièrement l'établissement des montants d'IFD dont le recourant est tenu responsable solidaire en relation avec les périodes précitées; deuxièmement le montant de l'amende prononcée. Le recourant conteste ces deux points.

3.
Avant d'entrer en matière sur les griefs soulevés, il convient de vérifier que ni l'infraction de soustraction fiscale ni le droit de taxer ne sont atteints par la prescription, étant précisé que le Tribunal fédéral doit examiner ce point d'office (ATF 138 II 169 consid. 3.2 et 3.3 p. 171; arrêt 2C_724/2010 du 27 juillet 2011, consid. 6 in RDAF 2012 II 37 ss).

3.1 En ce qui concerne la soustraction fiscale, les actes reprochés au recourant ont été commis avant le 1er octobre 2006, de sorte qu'en vertu de l'art. 2 al. 1 CP (lex mitior), la nouvelle règle prévue à l'art. 333 al. 6 let. d CP, selon laquelle la prescription ne court plus si avant son échéance, un jugement de première instance a été rendu, n'est pas encore applicable (cf. arrêt 2C_724/2010 27 juillet 2011, consid. 6.3.1, in RDAF 2012 II p. 45/46). Par le jeu de l'art. 184 al. 1 let. b et al. 2 LIFD, la poursuite pour soustraction fiscale consommée est prescrite après quinze ans, ce délai ne pouvant être prolongé. En l'occurrence, les manquements imputés au recourant se rapportent aux périodes fiscales allant de 1997 à 2000, de sorte que la prescription n'est pas acquise au jour du prononcé du présent arrêt.

3.2 S'agissant du droit de procéder à la taxation et contrairement à ce que prévoit désormais le droit pénal (cf. art. 333 al. 6 let. d CP), la prescription continue à courir durant la procédure devant le Tribunal fédéral (ATF 138 II 169 consid. 3.3 et 4 p. 171/172). Dès lors que l'art. 120 al. 4 LIFD prévoit que la prescription est acquise dans tous les cas quinze ans après la fin de la période fiscale, ce délai n'est pas non plus atteint en relation avec le droit de taxer le recourant pour les périodes encore litigieuses.

4.
En premier lieu, le recourant s'en prend au montant des reprises qui ont permis d'établir le bénéfice imposable de la société et, partant, ont servi de base au calcul de l'IFD dont il est tenu solidairement responsable. Il reproche au Tribunal cantonal de n'avoir pas tenu compte de différents éléments propres à réduire le bénéfice imposable.

4.1 Le recourant soutient tout d'abord que les charges salariales effectives auraient dû être déduites, même si les pièces comptables en attestant ont disparu, dès lors qu'il n'est lui-même pas responsable de cette disparition, celle-ci étant liée au départ des époux B.________. A défaut de pièces, le Tribunal cantonal aurait dû procéder à une taxation par estimation en vertu de l'art. 130 al. 2 LIFD et ne pouvait lui imputer la charge de la preuve.

Une telle argumentation confine à la témérité. En effet, la taxation d'office de l'art. 130 al. 2 LIFD suppose que l'autorité ne dispose pas des données suffisantes pour procéder à une taxation ordinaire. Elle n'est pas là pour suppléer aux règles sur le fardeau de la preuve et pour permettre au contribuable, à qui il incombe de prouver les faits de nature à éteindre ou à diminuer sa dette fiscale (cf. ATF 121 II 257 consid. 4c/aa p. 266 et les arrêts cités), d'échapper aux conséquences de l'échec de cette preuve en obtenant une déduction portant sur des éléments qu'il aurait pu et dû démontrer à temps. En l'occurrence, comme la Cour de céans l'a indiqué dans son arrêt 2C_447/2010 du 4 novembre 2010 au consid. 4.3, le recourant perd de vue que c'est lui-même qui a établi les bilans et les déclarations fiscales de la société et qu'il s'est alors contenté de reporter les montants des salaires que lui dictait M. B.________, alors qu'il lui appartenait de les vérifier et de demander les justificatifs nécessaires, qui, selon le recourant, existaient sous forme de " carnets à souche ". Ne l'ayant pas fait au moment déterminant, celui-ci est particulièrement malvenu de demander que, par le biais de l'art. 130 al. 2 LIFD, les déductions qu'il a portées au bilan sans disposer des pièces ad hoc soient prises en compte, au motif qu'il n'est maintenant plus en mesure d'apporter ces éléments de preuve, puisque ces pièces n'ont pas pu être retrouvées.

4.2 Se fondant sur une jurisprudence fribourgeoise publiée in RDAF 2006 II 554 ss, le recourant invoque ensuite une violation de l'art. 59 al. 1 let. a LIFD, reprochant aux juges cantonaux de ne pas avoir opéré de correction au bilan sous forme d'une augmentation de la provision pour impôts, pour tenir compte des reprises effectuées à la suite des soustractions fiscales commises par la société.
4.2.1 Selon l'art. 59 al. 1 let. a LIFD, les charges justifiées par l'usage commercial comprennent notamment les impôts fédéraux. En principe, ces charges ne sont déductibles qu'à la condition d'avoir été dûment comptabilisées (ROBERT DANON, Commentaire romand, art. 59 LIFD n. 2). Pour les personnes morales tenues à une comptabilité, les règles applicables (principe d'imparité; art. 669 al. 1 CO) imposent de constituer une provision pour impôts (PETER LOCHER, Kommentar zum DBG, Bâle 2004, art. 59 n. 55; BRÜLISAUER/HELBING, Kommentar zum schweizerischen Steuerrecht I/2a, Zweifel/Athanas éd., 2e éd. Bâle 2008, art. 59 n. 8; DANON, op. cit., art. 59 n. 6). Cette provision est réputée correspondre aux impôts que la personne morale devra acquitter pour la période en cause (DANON, op. cit., art 59 LIFD n. 6). Elle n'est pas laissée à la discrétion du contribuable, mais doit être évaluée de bonne foi, en fonction des impôts prévisibles (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2e éd. Zurich 2009, art. 59 n. 8; AGNER/JUNG/STEINMANN, Commentaire de la loi sur l'impôt fédéral direct, Zurich 2001, art. 59 n. 6). Il n'est pas nécessaire qu'à la fin de l'exercice commercial la dette fiscale soit déjà exigible ou que son montant puisse être déterminé de manière exacte (BRÜLISAUER/HELBING, OP. CIT., ART. 59 N. 8).
4.2.2 Lorsque l'administration fiscale redresse le bénéfice imposable d'une société, la provision pour impôts figurant au bilan peut s'avérer trop basse par rapport au montant d'impôt effectivement dû par le contribuable. Il s'agit de se demander si, dans un tel cas, il se justifie de procéder, postérieurement, à une adaptation de la provision en faveur du contribuable, ce qui a pour effet de diminuer d'autant le bénéfice imposable déterminant pour le calcul de l'impôt.

L'arrêt fribourgeois du 2 mai 2003 cité par le recourant a admis la possibilité d'une correction au bilan de la provision pour impôts en cas de reprises intervenant dans le cadre de la procédure de taxation ou d'une procédure de recours, au motif que le contribuable ne peut généralement guère le prévoir. Il a souligné que la question de savoir à quelles conditions le bilan joint à la déclaration d'impôt peut être corrigé doit être résolue tant à la lumière du principe selon lequel le bilan commercial est déterminant au plan fiscal que du principe de la bonne foi. Il conclut que le bilan peut être modifié dans le courant de la procédure de taxation lorsqu'il s'avère que le contribuable a passé des écritures comptables en ignorant leurs conséquences fiscales et que cette erreur paraît excusable (cf. RDAF 2006 II 554, consid. 3c).

La doctrine admet qu'aussi longtemps que l'on se trouve dans la procédure de taxation, une reprise d'impôts justifie en principe une correction correspondante de la provision pour impôts dans le bilan fiscal (DANON, op. cit., art. 59 LIFD n. 7; LOCHER, op. cit., art. 59 n. 55; BRÜLISAUER/HELBING, op. cit., art. 59 n. 9; AGNER/JUNG/STEINMANN, art. 59 n. 5 ss et 9; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., art. 59 n. 8). Cette augmentation de la provision, qui est contraire au principe de prédominance du bilan commercial, se fonde sur le caractère imprévisible de la reprise pour le contribuable (RICHNER/FREI/ KAUFMANN/MEUTER, op. cit., art. 59 n. 8).
4.2.3 Le Tribunal fédéral ne s'est pour sa part jamais prononcé sur l'admissibilité d'un ajustement ultérieur d'une provision pour impôts dont la valeur portée au bilan s'avérerait trop basse à la suite d'un redressement fiscal. Cette question, et a fortiori le point de savoir si un tel ajustement est encore possible lorsque l'on se trouve dans une procédure de rappel d'impôts, n'a pas à être examinée plus avant. En effet, un tel ajustement est d'emblée exclu lorsque la reprise d'impôts est le résultat d'une soustraction fiscale intentionnelle. Il n'y a alors aucune raison de modifier en faveur du contribuable la provision pour impôts figurant dans les comptes de la société, car l'on n'est pas en présence d'une reprise imprévisible qui justifierait de s'écarter du bilan commercial. En principe, un contribuable qui entend soustraire intentionnellement des montants au fisc ne va pas attirer l'attention des autorités fiscales en provisionnant au bilan l'équivalent des impôts objet de la soustraction. La provision pour impôts n'est alors pas évaluée de bonne foi en fonction des impôts prévisibles, mais est fixée à un niveau trop bas en connaissance de cause. En cas de redressement fiscal, le contribuable n'est pas confronté à une situation qu'il ne pouvait prévoir, de sorte que rien ne permet de déroger au principe de la déterminance du bilan commercial et de modifier le montant de la provision telle qu'évaluée par le contribuable dans sa comptabilité (en ce sens, RICHNER/FREI/KAUFMANN/MEUTER, op. cit., art. 59 n. 7 ss).

Dès lors qu'en l'espèce, il est établi que les redressements en cause sont le résultat de soustractions fiscales intentionnelles auxquelles le recourant a participé, on ne peut faire grief au Tribunal cantonal d'avoir violé l'art. 59 al. 1 let. a LIFD en n'adaptant pas a posteriori la provision pour impôts portée au bilan pour tenir compte des reprises.

5.
En dernier lieu, le recourant conteste le montant des amendes mises à sa charge. Il reproche au Tribunal cantonal de ne pas avoir pris en compte la très forte diminution des montants soustraits par rapport à ceux initialement retenus dans la décision sur réclamation du 25 mars 2009 (ceux-ci étant passés de 933'600 fr. à 298'500 fr.) et d'avoir confirmé les amendes fixées en 2009 alors que, selon l'art. 177 LIFD, celles-ci devaient être inférieures.

5.1 D'après l'art. 177 al. 2 LIFD, l'amende en cas d'instigation, complicité et participation à une soustraction d'impôts est de 10'000 fr. au plus; elle est de 50'000 fr. au plus dans les cas graves ou en cas de récidive. Dans son arrêt de renvoi 2C_232/2011 du 25 octobre 2011, la Cour de céans a rappelé que la juridiction cantonale devait fixer le montant de l'amende en appréciant le degré de la faute commise (cf. art. 177 al. 2 LIFD). Pour ce faire, il lui appartenait de tenir compte du comportement personnel du recourant et du temps relativement long qui s'était écoulé depuis les actes de participation reprochés à ce dernier (cf. RICHNER/FREI/KAUFMANN/MEUTER, op. cit. n. 20 ad art. 177, avec renvoi aux n. 110 ss ad art. 175 LIFD); il a également été ajouté que l'amende prononcée sur la base de l'art. 177 LIFD ne dépendait plus du montant de l'impôt soustrait, qui n'est pris en compte que pour déterminer si l'on est en présence d'un cas grave (PIETRO SANSONETTI, Commentaire romand, art. 177 LIFD n. 26 et 28), de sorte que les circonstances personnelles jouaient un rôle déterminant (arrêt précité consid. 2.3). Il convient d'ajouter que, lorsqu'elles fixent la quotité de l'amende fiscale, les instances cantonales disposent d'un large pouvoir d'appréciation et le Tribunal fédéral n'intervient qu'en cas d'abus ou d'excès de ce pouvoir (ATF 114 Ib 27 consid. 4a p. 30; arrêt 2A.187/2000 du 3 novembre 2000 consid. 4c).

5.2 Le Tribunal cantonal a examiné les montants d'impôts soustraits, non pas pour aligner la peine sur ceux-ci, mais pour déterminer si le cas pouvait ou non être qualifié de grave, ce qui est conforme aux principes rappelés ci-dessus. Ce faisant, il s'est focalisé sur la société et a retenu que, pendant les périodes fiscales demeurant litigieuses, soit de 1997 à 1998, un montant de 298'500 fr n'avait pas été déclaré, ce qui équivalait à un peu plus de 23'000 d'impôt soustrait. En outre, il a retenu que les infractions s'étaient déroulées de façon répétée, les deux périodes non prescrites pour la société allant de 1997 à 1998. En qualifiant le cas de grave sur cette base, l'appréciation peut certes paraître sévère, mais, si elle est replacée dans le contexte général de la présente cause, soit en tenant également compte des montants non déclarés pour les époux B.________, qui se montent à 524'000 fr. de 1997 à 2000, ce qui équivaut à 28'866.25 fr. d'IFD soustraits, elle ne saurait être considérée comme abusive. S'agissant des circonstances personnelles, le Tribunal cantonal a retenu, en faveur du recourant, que celui-ci, depuis le 22 avril 2010, n'avait pas subi de nouvelles condamnations, que sa situation personnelle s'était légèrement dégradée et que deux années s'étaient écoulées depuis le 4 novembre 2010, date de l'arrêt dans lequel la Cour de céans avait considéré que la participation du recourant à des soustractions fiscales consommées devait être reconnue. Sur la base de ces éléments, elle a fixé l'amende à 6'800 fr. en relation avec les soustractions de la société et à 6'300 fr. en lien avec les époux B.________. On ne voit pas que ces montants procèdent d'un excès ou d'un abus du pouvoir d'appréciation ou aillent à l'encontre des limites fixées à l'art. 177 al. 2 LIFD.
Lorsque le recourant reproche à l'autorité cantonale de ne pas avoir fixé un montant inférieur, compte tenu du fait qu'initialement sa responsabilité portait sur des montants d'impôts soustraits beaucoup plus importants, il perd de vue que l'amende n'est pas fixée proportionnellement aux impôts soustraits à l'art. 177 LIFD, ceux-ci ne servant qu'à déterminer l'existence d'un cas grave (cf. supra consid. 5.1). Au demeurant, les juges ont tenu compte du fait que certaines infractions étaient prescrites et que les soustractions reprochées au recourant étaient moins étendues, puisqu'ils ont fait passer l'amende fixée à 27'400 fr. le 25 mars 2009 à 13'100 fr.

6.
Dans ces circonstances, le recours doit être rejeté. Les frais seront mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est rejeté.

2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.

3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions.

Lausanne, le 28 septembre 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président: Zünd

La Greffière: Rochat