Participation in tax evasion requires intentional conductGénéré par IA

{T 0/2}
2C_447/2010

Arrêt du 4 novembre 2010
IIe Cour de droit public

Composition
MM. et Mme les Juges Zünd, Président,
Karlen et Aubry Girardin.
Greffière: Mme Rochat.

Participants à la procédure
Administration cantonale des impôts du canton de Vaud, route de Berne 46, 1014 Lausanne,
recourante,

contre

X.________,
représenté par Me Nicolas Urech, avocat,
intimé.

Objet
Participation aux soustractions de l'impôt fédéral direct et des impôts cantonal et communal;

recours contre l'arrêt du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, du 22 avril 2010.

Faits:

A.
X.________ exploite le cabinet fiduciaire « X.________ SA », à A.________. Pendant de nombreuses années, il a été réviseur et représentant de la société B.________ SA (en abrégé: la société), entreprise générale de maçonnerie, à C.________, dont B.________ était administrateur-président. Il a notamment représenté la société durant toute la procédure de soustraction d'impôt ouverte en mai 1992 qui, selon l'arrêt du Tribunal administratif du canton de Vaud du 13 mars 1996, a révélé un bénéfice de 50'000 fr. soustrait pour la société et un revenu non déclaré de 86'000 fr. pour les époux B.________.
Le 28 mars 2000, l'Administration cantonale vaudoise des impôts a ouvert une nouvelle procédure en soustraction fiscale pour les périodes 1995 à 1999, à la suite des informations reçues par le Service de l'emploi, selon lesquelles la société avait engagé du personnel étranger sans permis de séjour. Par requête du 11 octobre 2001, renouvelée le 11 novembre, elle a demandé à la société de produire plusieurs documents, afin de pouvoir clôturer son enquête. X.________ a sollicité une prolongation au 30 janvier 2002 de ce délai. Le 8 février 2002, il a informé l'Administration cantonale des impôts que son client était parti définitivement à l'étranger sans lui remettre les documents requis et que la société B.________ SA avait cessé toute activité au 31 décembre 2001.

Le 27 juin 2003, l'Administration cantonale des impôts a notifié à la société, ainsi qu'à son représentant, une décision de rappel d'impôt et de taxation définitive dans laquelle elle avait procédé à diverses reprises pour les années de référence ou de calcul 1993 à 2000, pour un total de 930'980 fr., ce qui portait les compléments d'impôts à payer à 295'622 fr. 45 pour les impôts cantonal et communal et à 75'818 fr. 85 pour l'impôt fédéral direct, durant les périodes fiscales 1995 à 2000. Les amendes pour soustraction et tentative de soustraction fiscale durant les mêmes périodes s'élevaient en outre à 72'550 fr. pour les impôts cantonal et communal et à 88'700 fr. pour l'impôt fédéral direct.

Le 22 août 2003, l'Office d'impôt des personnes morales du canton de Vaud a notifié à la société, à l'adresse de son représentant, les bordereaux complémentaires correspondant aux montants susmentionnés. X.________ a informé l'Administration cantonale des impôts, le 28 août 2003, que son client avait quitté la Suisse sans avis préalable et sans laisser d'adresse. Considérant qu'il n'était plus le représentant de la société, il a retourné les bordereaux d'impôts concernant B.________ SA.

B.
Le 15 décembre 2003, l'Administration cantonale des impôts a ouvert une procédure pour participation à une soustraction d'impôt à l'encontre de X.________. Elle lui reprochait d'avoir comptabilisé pour plus de 900'000 fr. de charges non justifiées par l'usage commercial durant les exercices 1995 à 2000, d'avoir attesté, en tant que réviseur, que la comptabilité et les comptes de la société étaient conformes à la loi et d'avoir omis de déclarer plus de 900'000 fr. à titre de bénéfice de la société et de distributions dissimulées en faveur de l'actionnaire dans les déclarations d'impôt de la société et des époux B.________. Elle précisait en outre qu'en vertu des dispositions légales applicables, il répondait solidairement du paiement de l'impôt.

L'Office d'impôt des personnes morales a engagé une poursuite à l'encontre de la société qui s'est terminée par un acte de défaut de biens s'élevant respectivement à 79'580 fr. 85 pour l'impôt fédéral direct et à 309'889 fr. 85 pour les impôts cantonal et communal.
Le 30 novembre 2007, l'Administration cantonale des impôts a notifié à X.________ un prononcé d'amendes pour participation à une soustraction fiscale, soit 31'000 fr. pour les impôts cantonaux et communaux et 36'000 fr. pour l'impôt fédéral direct. Elle a également notifié une décision d'appel en solidarité pour les compléments d'impôt fédéral direct dus par la société pour les années 1995 à 2000, soit 75'818 fr. 85 et par les époux B.________ pour les années 1997 à 2001, soit 67'768 fr. 80, ainsi que pour les impôts cantonal et communal dus par les époux B.________ en 2001, soit 87'507 fr. 35.

Après avoir instruit la réclamation déposée par X.________, l'Administration fiscale cantonale, statuant aussi en tant qu'Administration cantonale de l'impôt fédéral direct, a admis celle-ci partiellement, par décisions du 25 mars 2009. Confirmant que X.________ avait agi intentionnellement et non par négligence, elle a toutefois tenu compte de la prescription et a réduit le montant de l'amende dû pour l'impôt fédéral direct à 27'400 fr. et celui dû pour les impôts cantonaux et communaux à 19'600 fr. Les compléments d'impôts à payer en matière d'impôt fédéral direct ont également été réduits à 70'937 fr. 85 pour la société et à 62'883 fr. 25 pour les époux B.________; quant aux impôts cantonal et communal dus par ces derniers, ils ont été fixés à 80'921 fr. 70.

C.
X.________ a recouru auprès du Tribunal cantonal du canton de Vaud à l'encontre des décisions du 25 mars 2009, en concluant principalement à l'annulation des amendes pour défaut de participation aux infractions qu'auraient pu commettre les contribuables principaux et au refus de l'appel en solidarité. Il a été entendu par la juridiction cantonale le 15 avril 2010.

Par arrêt du 22 avril 2010, le Tribunal cantonal a admis le recours, tant en matière d'impôt fédéral direct, qu'en ce qui concerne les impôts cantonal et communal, et a annulé les décisions sur réclamation du 25 mars 2009 relatives à ces impôts. Il a retenu en bref qu'il ressortait de la décision de rappel d'impôt du 27 juin 2003, devenue exécutoire et définitive, que le contribuable principal, parti sans laisser d'adresse en cours de procédure, avait violé de manière fautive son obligation de collaborer à la taxation et de renseigner l'autorité fiscale sur les montants qu'il avait comptabilisés sans justificatifs. En ce qui concerne le recourant, la juridiction cantonale a considéré qu'en comptabilisant des charges sans requérir les justificatifs correspondants, il avait gravement violé les dispositions du droit comptable (art. 662a et 663 CO). Cette omission relevait certes d'une grave négligence, mais rien ne permettait d'établir que le recourant avait eu l'intention de soustraire des impôts au sens des art. 177 de la loi fédérale sur l'impôt fédéral direct (LIFD; RS 642.11) et 244 de la loi vaudoise sur les impôts cantonaux du 4 juillet 2000 (LI; RSVD 642.11) ou qu'il avait agi d'entente avec le contribuable principal, de sorte que les conditions de la participation à la soustraction fiscale n'étaient pas réalisées.

D.
L'Administration cantonale des impôts, agissant également en qualité d'Administration cantonale de l'impôt fédéral direct, forme un recours en matière de droit public auprès du Tribunal fédéral et conclut, avec suite de frais, à l'annulation de l'arrêt du 22 avril 2010, X.________ étant reconnu « coupable de l'infraction de participation aux soustractions d'impôt commises, respectivement tentées, par la société B.________ SA en matière d'impôt fédéral direct sur le bénéfice dans les périodes fiscales 1995 à 2000 et par M. et Mme B.________ en matière d'impôt fédéral direct sur le revenu dans les périodes fiscales 1997-1998 à 2001-2002 ainsi qu'en matière d'impôt(s) cantonal et communal sur le revenu dans la période fiscale 2001-2002 ». Partant, elle demande que la cause soit renvoyée au Tribunal cantonal (Cour de droit public et administratif) pour qu'il fixe le montant des amendes et celui des impôts soustraits dont l'intimé répond solidairement.

X.________ (ci-après : l'intimé) conclut, avec dépens, au rejet du recours dans la mesure où il est recevable.
Le Tribunal cantonal a renoncé à se déterminer sur le recours. Sans présenter d'observations, l'Administration fédérale des contributions se rallie entièrement aux conclusions du recours.

Considérant en droit:

1.
1.1 L'arrêt attaqué constitue une décision finale (art. 90 LTF) rendue dans une cause de droit public par une autorité supérieure de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que l'instigation, la complicité et la participation à une soustraction fiscale sont traitées de la même manière pour les deux catégories d'impôts aux art. 177 LIFD et 244 LI (ATF 135 II 260 consid. 1.3.1 p. 262).

1.2 L'art. 146 2ème phrase LIFD confère à l'Administration cantonale de l'impôt fédéral direct la qualité pour recourir conformément à l'art. 89 al. 2 let. d LTF. Il en va de même de l'art. 73 al. 2 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14), qui donne à l'Administration fiscale cantonale le droit de recourir (ATF 134 II 186 consid. 1.4 p. 189; 124 consid. 2), pour autant que le recours concerne une période postérieure au délai de huit ans accordé aux cantons à compter de l'entrée en vigueur de la loi fédérale d'harmonisation le 1er janvier 1993, pour adapter leur législation aux dispositions des titres deuxième à sixième de cette loi (ATF 123 II 588 consid. 2 p. 591 ss; arrêt 2C_449/2008 du 16 octobre 2008, consid. 1.2). Par conséquent, en tant qu'il porte sur les impôts cantonal et communal le recours n'est recevable que pour la participation de l'intimé aux soustractions d'impôt - domaine figurant au titre 6 de la LHID - reprochées à M. et Mme B.________ pour la période fiscale 2001-2002, ainsi que l'admet d'ailleurs la recourante.

1.3 Déposé en temps utile (art. 100 LTF) et dans les formes prévues par la loi (art. 42 LTF), le présent recours est donc recevable comme recours en matière de droit public pour toutes les périodes fiscales litigieuses, soit de 1995 à 2001, en ce qui concerne l'impôt fédéral direct et pour la période fiscale 2001-2002 en ce qui concerne les impôts cantonal et communal.

2.
2.1 Le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). La notion de "manifestement inexacte" de l'art. 97 LTF correspond à celle d'arbitraire de l'art. 9 Cst. (ATF 133 III 393 consid. 7.1 p. 398). Le recourant peut faire valoir des vices relatifs à la constatation des faits, si leur correction est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 2 LTF). Ainsi, en l'espèce, la recourante peut soutenir que les juges cantonaux n'ont arbitrairement pas tenu compte de pièces produites au cours de la procédure. En revanche, elle ne saurait compléter elle-même l'état de fait qu'elle jugerait lacunaire. Sous cet angle, le recours est donc irrecevable.

2.2 Pour le reste, le Tribunal fédéral applique d'office le droit fédéral (art. 106 al. 1 LTF). Il examine en principe librement l'application du droit fédéral, ainsi que la conformité du droit cantonal harmonisé avec les dispositions de la loi fédérale sur l'harmonisation fiscale. Le Tribunal fédéral n'est, en ces domaines, limité ni par les arguments des parties ni par la motivation retenue par l'autorité précédente; il peut ainsi admettre un recours pour un autre motif que ceux invoqués devant lui ou rejeter un recours en adoptant une argumentation différente de l'autorité attaquée (cf. ATF 133 II 249 consid. 1.4.1 p. 254; 133 III 545 consid. 2.2 p. 550 et les références citées).

I. Impôt fédéral direct.

3.
Le présent litige porte sur le point de savoir si l'intimé s'est rendu coupable de participation aux soustractions fiscales reprochées aux époux B.________ qui ont fait l'objet des décisions définitives et exécutoires du 27 juin 2003.

3.1 Dès lors que les actes de soustraction litigieux, comme ceux de la participation à cette soustraction, ont été commis avant l'entrée en vigueur de la modification de l'art. 333 al. 6 let. d CP du 1er octobre 2002, il y a lieu de s'assurer d'office que l'infraction n'est pas atteinte par la prescription absolue (arrêts 2C_480/2009 du 16 mars 2010, consid. 4.1 et 2A.719/2004 du 11 mai 2005 consid. 2, in Archives 75 p. 483 ss).

En cas de soustraction consommée, la poursuite pénale se prescrit par dix ans (art. 184 al. 1 let. b LIFD). Un nouveau délai recommence à courir à chaque interruption, la prescription ne pouvant toutefois être prolongée de plus de la moitié de sa durée initiale (art. 184 al. 2 LIFD), soit en l'espèce 15 ans. Le délai commence à courir à partir de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète, ou pour laquelle l'impôt à la source n'a pas été perçu (XAVIER OBERSON, Droit fiscal suisse, 3ème éd., § 26 n. 43 p. 515). Les infractions portant sur les périodes fiscales à compter de 1995, la prescription absolue n'est donc pas atteinte.

3.2 En vertu de l'art. 177 al. 1 LIFD, celui qui, intentionnellement, incite à une soustraction d'impôt, y prête son assistance, la commet en qualité de représentant du contribuable, ou y participe, sera puni d'une amende fixée indépendamment de la peine encourue par le contribuable; en outre, il répond solidairement de l'impôt soustrait.
Cette disposition règle les conséquences pénales et fiscales de la participation à une soustraction consommée ou à une tentative de soustraction. Les trois formes de participation ne sont punissables que si elles ont été commises intentionnellement. S'agissant du représentant, l'art. 177 LIFD vise aussi bien la soustraction que le représentant commet à l'insu du contribuable que celle où il y participe d'entente avec ce dernier (PIETRO SANSONETTI, op. cit., n. 1, 10, 15 à 24 ad art. 177 LIFD, p. 1509 à 1513; ROMAN SIEBER, Kommentar zum schweizerischen Steuerrecht, n. 16 ss ad Art. 177 DBG, vol. I/2b, 2ème éd., p. 750/751). Lorsqu'il agit comme complice, le représentant ne fait que participer à l'infraction; tel est le cas, par exemple, d'une fiduciaire qui constate des éléments non déclarés, mais n'entreprend rien pour corriger les écritures comptables et établit la déclaration d'impôt sur la base de montants inexacts (XAVIER OBERSON, op. cit., n. 28 p. 511/512). L'acte punissable doit cependant résulter d'un comportement actif vis-à-vis de l'autorité fiscale. Une simple omission du représentant ne suffit pas, puisque seul le contribuable est tenu à des obligations légales dans la procédure de taxation (FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2ème éd. 2009, n. 14 ad art. 177, p. 1435; PIETRO SANSONETTI, op. cit., n. 23 i.f. ad art. 177, p. 1513). Il faut donc que le participant ait agit intentionnellement, soit avec conscience et volonté (cf. art. 12 al. 2 CP, applicable par renvoi combiné des art. 333 al. 1 CP et 104 CP (cf. YVAN JEANNERET, Code pénal I, Bâle 2009, n. 2 ad art. 104 CP). Le dol éventuel suffit; il suppose que l'auteur envisage le résultat dommageable, mais agit néanmoins, parce qu'il s'en accommode au cas où il se produirait (ATF 130 IV 58 consid. 8.2 p. 61).
Selon la jurisprudence, la preuve d'un comportement intentionnel doit être considérée comme apportée, lorsqu'il est établi de façon suffisamment sûre que le contribuable était conscient que les informations données étaient incorrectes ou incomplètes. Si tel est le cas, il faut présumer qu'il a volontairement voulu tromper les autorités fiscales, ou du moins qu'il a agi par dol éventuel afin d'obtenir une taxation moins élevée; cette présomption ne se laisse pas facilement renverser, car l'on peine à imaginer quel autre motif pourrait conduire un contribuable à fournir au fisc des informations qu'il sait incorrectes ou incomplètes (cf. ATF 114 Ib 27 consid. 3a p. 29/30; Archives 63 p. 208 consid. 3 p. 216; jurisprudence confirmée dans les arrêts 2C_480/2009 du 16 mars 2010, consid. 5.5, 2A.607/2006 du 24 avril 2007, consid. 3.3 et 2A.258//2005 du 19 octobre 2005, consid. 2.2 et les références citées, in StE 2006 B 101.3 Nr. 8).

Etablir la conscience et la volonté relève de la constatation des faits qui lie le Tribunal fédéral, à moins que celle-ci ne soit manifestement inexacte ou arbitraire, en particulier lorsque l'autorité judiciaire a méconnu certaines pièces déterminantes du dossier ou s'est écartée sans raison des enseignements de l'expérience. En revanche, vérifier si l'autorité s'est fondée sur la notion exacte d'intention, est une question de droit que le Tribunal fédéral revoit librement (arrêts 2A.351/2002 du 5 novembre 2002, consid. 3.3, notamment in RDAF 2003 II p. 637 et 2A.538/1999 du 30 juin 1999, consid. 3a, in RDAF 1999 II p. 539).

4.
4.1 La recourante reproche au Tribunal cantonal d'avoir procédé à des constatations manifestement inexactes ou incomplètes de l'état de fait. Il n'aurait ainsi analysé l'intention de l'intimé que sous l'angle de son mandat de comptable, sans tenir compte du fait qu'il était encore réviseur et mandataire fiscal de la société. Sur ce point, la recourante soutient qu'en assumant lui-même trois mandats, (comptabilité, révision et déclarations fiscales), l'intimé avait la maîtrise de toutes les données servant de base à la taxation et que sa responsabilité était fortement augmentée. Il avait ainsi comptabilisé des charges sans disposer d'aucun justificatif, puis avait contrôlé les comptes en sachant pertinemment que certaines charges n'étaient pas justifiées par pièces. La recourante estime en outre que l'analyse du comportement de l'intimé doit se faire au moment de l'accomplissement des actes en relation de causalité directe avec la commission des infractions de soustraction d'impôt. Or, à ce moment-là, M. B.________ se trouvait en Suisse, de sorte que l'intimé pouvait exiger qu'il lui remette les justificatifs nécessaires.

De son côté, l'intimé allègue que la recourante entend substituer son propre état de fait à celui du Tribunal cantonal, en formulant des critiques essentiellement appellatoires. Il relève notamment que la juridiction cantonale a constaté de manière souveraine qu'aucun élément du dossier ne démontrait que lui-même avait consciemment comptabilisé des charges inexistantes. Il fait aussi valoir qu'il avait produit toutes les pièces en sa possession au moment de la fuite de ses clients en Espagne, mais qu'au moment de la procédure de rappel, il n'avait plus la possibilité de prouver les charges contestées par l'Administration cantonale des impôts.

4.2 L'arrêt attaqué constate que l'intimé avait comptabilisé les charges de la société sur la base des renseignements oraux que lui avait donnés son client et qu'il avait connaissance d'un carnet de quittances relatives aux salaires payés par ce dernier, lequel lui en communiquait les résultats. La juridiction cantonale a retenu qu'en comptabilisant des charges sans requérir les justificatifs correspondants, l'intimé avait violé les dispositions du droit comptable (art. 662a et 663 CO) et commis une grave négligence, mais elle a estimé qu'il n'avait pas eu véritablement conscience ou pris connaissance que les chiffres indiqués par son client étaient faux; tout au plus avait-il agi par négligence, en comptabilisant des chiffres dont il n'avait pas contrôlé le bien-fondé par la réquisition de justificatifs. Examinant la procédure de rappel, le Tribunal cantonal a aussi constaté que l'intimé avait déclaré a posteriori le personnel de son client soumis à l'impôt à la source, puis fourni aux autorités une liste de ce personnel engagé au noir. Il n'avait cependant pas pu produire les justificatifs requis en raison du départ subit du débiteur principal qui avait manifestement voulu fuir les poursuites de l'autorité fiscale et avait mis le représentant lui-même dans une situation délicate qui ne lui permettait plus de collaborer. Il en a donc déduit qu'on ne pouvait reprocher à l'intimé d'avoir participé intentionnellement à une soustraction, alors qu'aucun élément du dossier ne démontrait qu'il avait consciemment comptabilisé des charges inexistantes et qu'au moment de les établir dans la procédure de rappel, il n'avait plus la possibilité de les prouver. Dès lors, l'intention de l'intimé de participer à une soustraction commise par un tiers - sans qu'une entente dans ce but n'ait été établie ou qu'un intérêt particulier ne soit démontré - n'était pas prouvée à satisfaction.

4.3 Ce faisant, le Tribunal cantonal perd de vue que le comportement intentionnel est présumé, dès que l'on peut admettre que le contribuable était conscient que les informations données étaient incorrectes ou incomplètes (cf. supra consid. 3.2). Or, en l'espèce, il est manifestement inexact ou arbitraire de retenir que l'intimé, qui revêtait les fonctions de réviseur et de mandataire fiscal de la société, n'était pas au courant des pratiques de son client dans la gestion de sa société, en tous cas en ce qui concerne le personnel non déclaré pour lequel il a bien dû constater qu'aucune charge sociale n'était versée lorsqu'il a fait la comptabilité de la société. S'agissant en outre d'une fiduciaire chargée non seulement d'établir les comptes, mais de les réviser, il lui appartenait d'opérer les vérifications sur la base des documents comptables avant de remplir les déclarations fiscales et non de se fier aux seules indications orales fournies par son client. Sur ce point, l'intimé a notamment admis, lors de son audition devant le Tribunal cantonal, que durant les quatre à cinq dernières années, au moment de la préparation du bilan annuel, M. B.________ lui dictait les montants des salaires de ses employés sur la base de carnets qu'il tenait pour chacun d'eux, carnets qui concernaient aussi des travailleurs engagés au noir.
Dans ces circonstances, les manquements répétés aux dispositions du droit comptable (art. 662a et 663 CO) et la couverture des pratiques du contribuable principal, alors que l'intimé était chargé d'établir les déclarations d'impôt de la société et des époux B.________ pendant plusieurs années, constituent bien des actes de participation vis-à-vis de l'autorité fiscale et non de simples négligences. Le seul fait de ne pas vérifier les informations douteuses que lui donnaient oralement son client doit au demeurant être considéré comme une entente tacite avec ce dernier. A cet égard, la recourante soutient à juste titre que le comportement de l'intimé doit être examiné au moment où il a rempli les différentes déclarations fiscales, alors qu'il lui appartenait de demander les justificatifs nécessaires à l'établissement de celles-ci. L'arrêt attaqué ne pouvait dès lors se fonder sur le comportement de l'intimé pendant la procédure de rappel d'impôt pour nier l'intention, du moins tant que le contribuable principal, administrateur de la société, se trouvait encore en Suisse et pouvait lui fournir tous les documents utiles, soit jusqu'à fin 2001. Sur la base des constatations cantonales, on peut en revanche admettre qu'en 2002, l'intimé n'a pas pu remplir les déclarations d'impôts de la société et des époux B.________ pour l'année fiscale 2001. Sur ce point, la recourante se borne d'ailleurs à compléter l'état de fait de l'arrêt attaqué, mais ne motive pas spécialement ses griefs par rapport à une participation éventuelle de l'intimé aux soustractions fiscales portant sur la période 2001-2002.

4.4 En conséquence, la participation de l'intimé à des soustractions fiscales consommées doit être reconnue pour les périodes fiscales 1995 à 2000. Le recours doit donc être partiellement admis en ce qui concerne l'impôt fédéral direct; il appartiendra à la juridiction cantonale d'examiner les conséquences pénales et fiscales de cette participation prévues par l'art. 177 LIFD.

II. Impôts cantonal et communal.

5.
L'art. 244 LI a la même teneur que l'art. 177 LIFD, de sorte que les considérations émises ci-dessus s'appliquent également aux impôts cantonal et communal.

Cependant, le recours en matière de droit public ne porte que sur la période fiscale 2001-2002 en matière d'impôts cantonal et communal. Or, comme déjà indiqué (supra consid. 4.3), les conditions de participation de l'intimé à la soustraction d'impôt reprochée aux époux B.________ pendant cette période n'ont pas été démontrées. Il s'ensuit que le recours doit être rejeté en tant qu'il concerne les impôts cantonal et communal.

6.
6.1 Au vu de ce qui précède le recours doit être partiellement admis et l'arrêt attaqué annulé en tant qu'il constate l'absence de participation de l'intimé aux soustractions à l'impôt fédéral direct durant les périodes fiscales 1995 à 2000. Il doit en revanche être rejeté dans la mesure où il porte sur la période fiscale 2001-2002, tant en ce qui concerne l'impôt fédéral direct que les impôts cantonal et communal. L'affaire sera ainsi renvoyée au Tribunal cantonal pour nouvel examen dans le sens des considérants. Il lui appartiendra également de statuer à nouveau sur les frais de la procédure cantonale (art. 67 a contrario LTF).

6.2 Compte tenu de l'issue du recours les frais judiciaires doivent être mis à la charge de la recourante pour un tiers et pour deux tiers à la charge de l'intimé (art. 66 al. 1 et 4 LTF). La recourante versera à l'intimé une indemnité réduite à titre de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est partiellement admis en ce qui concerne l'impôt fédéral direct.

2.
Le recours est rejeté en ce qui concerne les impôts cantonal et communal.

3.
L'arrêt attaqué est annulé dans la mesure où il porte sur l'impôt fédéral direct des périodes fiscales 1995 à 2000 et la cause est renvoyée au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Il lui appartiendra également de statuer à nouveau sur les frais de la procédure cantonale.

4.
Les frais judiciaires, arrêtés à 6'000 fr., sont répartis à raison de 2'000 fr. à la charge de la recourante et de 4'000 fr. à charge de l'intimé.

5.
La recourante versera à l'intimé une indemnité de 2'000 fr. à titre de dépens.

6.
Le présent arrêt est communiqué à la recourante, au mandataire de l'intimé et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.

Lausanne, le 4 novembre 2010

Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:

Zünd Rochat