2C_12/2017

2C_12/2017

2C_13/2017

Arrêt du 23 mars 2018

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Seiler, Président,
Zünd, Aubry Girardin, Stadelmann et Haag.
Greffière : Mme Vuadens.

Participants à la procédure
X.________,
représenté par Me Xavier Oberson et Me Anne Tissot Benedetto avocats,
recourant,

contre

Département de l'économie, de l'énergie et du territoire du canton du Valais,
Service cantonal des contributions du canton du Valais.

Objet
Impôt fédéral direct, impôt cantonal et communal des années 2003 à 2010, soustraction d'impôt,

recours contre la décision - séance de la Commission cantonale de recours en matière fiscale du canton du Valais du 16 novembre 2016.

Faits :

A.

A.a. X.________ est actif dans le commerce de vins. Il a créé en 1995 une société à responsabilité limitée qui, en 1999, a été transformée en société anonyme sous la raison sociale X.________ SA puis A.X.________ SA. En 2003, X.________ a constitué plusieurs sociétés, dont B.________ AG à Zoug.
En mai 2004, la société C.________ a été constituée aux Iles Vierges Britanniques. Un compte bancaire a été ouvert au nom de cette société auprès de la banque D.________. X.________ n'apparaissait ni comme administrateur, ni comme détenteur d'un droit de signature de C.________, qu'il ne reportait pas non plus dans ses déclarations d'impôts. Il a toutefois admis en être le réel et unique bénéficiaire économique.
En 2003 et 2004, X.________ et son épouse ont été taxés d'office. De 2005 à 2010, ils ont été imposés sur la base des déclarations fiscales déposées. Les décisions de taxation des périodes 2003 à 2010 sont entrées en force.
Lors d'un contrôle effectué en 2009 auprès de A.X.________ SA, la Division "Contrôle externe" de l'Administration fédérale des contributions a relevé des irrégularités dans les comptes de cette société en lien avec X.________ et a communiqué, le 7 octobre 2010, les informations qu'elle avait obtenues au Service cantonal des contributions du canton du Valais (ci-après: le Service cantonal ou SCC). Le 26 novembre 2010, celui-ci a transmis les dossiers concernant A.X.________ SA et X.________ à la Division des affaires pénales et enquêtes de l'Administration fédérale des contributions (ci-après: la DAPE), qui a ouvert, le 14 juillet 2011, une enquête à leur encontre.
Le 30 octobre 2012, le Service cantonal a ouvert une procédure en rappel d'impôts relative aux périodes fiscales 2001/2002 à 2010 puis, le 15 novembre 2012, une procédure en soustraction fiscale à l'encontre de X.________.

A.b. Le 27 août 2013, la DAPE a rendu des rapports concernant X.________ et A.X.________ SA. Elle y retient que des soustractions fiscales ont été commises au travers des sociétés créées par X.________, par l'établissement de fausses factures, qui ont permis la réalisation de revenus n'apparaissant dans aucune comptabilité. X.________ faisait en particulier établir de fausses factures par le comptable de A.X.________ SA, encaissait les montants et les reversait sur le compte bancaire ouvert auprès de la banque D.________ au nom de C.________, après avoir fait annuler les factures émises. De la sorte, les revenus réalisés n'apparaissaient ni dans la comptabilité, ni sur les comptes bancaires de A.X.________ SA. Le même schéma avait été utilisé par l'intermédiaire de B.________ AG, et les montants encaissés avaient aussi été versés sur le compte bancaire de C.________. Les transferts de fonds étaient effectués principalement en espèces par X.________. Les montants étaient ensuite partiellement redirigés, sous couvert de prêts octroyés par C.________, sur les comptes de diverses sociétés contrôlées par X.________ ou, ponctuellement, à X.________ lui-même.
X.________ avait également procédé à l'achat et à la vente de vin "au noir", réutilisant une partie des fonds détournés pour effectuer des paiements de marchandises et pour reverser les bénéfices réalisés sur le compte bancaire de C.________.

A.c. Après des échanges de correspondance et des entretiens avec les contribuables, certains éléments du rapport de la DAPE ont été rectifiés par le Service cantonal. Les éléments soustraits par les époux X.________ finalement retenus par le Service cantonal ont été synthétisés comme suit:

Éléments soustr aits (fr.)

DAPE

SCC

2003 Activités indépendantes

2'675'943

1'732'389

2004 Activités indépendantes

1'418'551

1'399'529

2005 Activités indépendantes et rendements titres

1'741'766

1'425'782

2006 Rendements titres

933'941

806'246

2007 Rendements titres

2'166'693

2'874'027

2008 Rendements titres

1'886'761

804'321

2009 Rendements titres

2'335'514

1'616'026

2010 Rendements titres

35'130

35'130

Revenu soustrait

13'194'299

10'693'450

Le 3 avril 2014, le Service cantonal a notifié aux époux X.________ des bordereaux de rappels d'impôts pour les impôts cantonaux, communaux et fédéraux des périodes fiscales 2003 à 2010. Le montant total des impôts rappelés s'élevait à 3'604'490 francs.
X.________ et son épouse ont contesté en vain ces bordereaux de rappels d'impôts par la voie de la réclamation puis du recours auprès de la Commission de recours en matière fiscale du canton du Valais (ci-après: la Commission de recours) qui, par jugement du 25 mars 2015, les a confirmés.
Par arrêt du 26 août 2016 (cause 2C_445/2015), le Tribunal fédéral a rejeté le recours que les contribuables ont formé contre le jugement de la Commission de recours du 25 mars 2015, confirmant entièrement les reprises effectuées dans le chef des époux X.________ pour les périodes fiscales 2003 à 2010.

B.

B.a. Par ordonnance pénale datée du 16 juillet 2014, le Ministère public vaudois a reconnu X.________ coupable d'usage de faux et l'a condamné à une peine pécuniaire de 180 jours-amende avec sursis pendant deux ans, un jour-amende valant 300 fr. (art. 105 al. 2 LTF). L'ordonnance pénale mentionne ce qui suit (art. 105 al. 2 LTF) :

"X.________, directeur et président du conseil d'administration de A.X.________ SA, a produit, à l'appui des déclarations d'impôts de cette entité concernant les exercices fiscaux 2005 à 2009, des états financiers inexacts, en ce sens essentiellement que des revenus avaient été sciemment omis. A cela s'ajoute que, pour parvenir à ses fins, X.________ a établi des fausses factures (...).

En transmettant ou faisant transmettre cette documentation erronée à l'autorité fiscale, X.________ a ainsi fait usage de titres faux."

X.________ n'a pas contesté cette ordonnance pénale, qui est partant entrée en force.

B.b. La procédure en soustraction fiscale qui avait été ouverte par le Service cantonal à l'encontre de X.________ a abouti, le 21 juillet 2014, à des prononcés d'amendes pour l'impôt cantonal et communal et pour l'impôt fédéral direct des périodes fiscales 2003 à 2010. Le Service cantonal a infligé à X.________ une amende correspondant à un tiers des impôts soustraits. Cela représentait un montant total de 1'200'000 fr. :

Le 21 août 2014, X.________ a élevé réclamations contre ces amendes, que le Service cantonal a rejetées (décisions sur réclamations du 9 septembre 2015). Le 12 octobre 2015, le contribuable a recouru contre ces décisions sur réclamations auprès de la Commission de recours.

B.c. Le 29 avril 2016, X.________ a été entendu par la Commission de recours. A cette occasion, il a notamment invoqué le principe "ne bis in idem", en se référant à une décision rendue en matière de TVA le 30 janvier 2015, ainsi qu'à l'ordonnance pénale précitée du 16 juillet 2014 du Ministère public vaudois (art. 105 al. 2 LTF). A la demande de la Commission de recours, X.________ lui a fait parvenir, le 12 mai 2016, ces deux décisions (art. 105 al. 2 LTF).
Le 15 septembre 2016, la Commission de recours a informé X.________ qu'une reformatio in pejus des amendes était possible et lui a imparti un délai échéant au 10 octobre 2016 pour se déterminer sur ce point. Le 6 octobre 2016, l'intéressé a sollicité une prolongation de trente jours de ce délai, ce que la Commission de recours a refusé, en lui accordant un délai de grâce de trois jours. Le 14 octobre 2016, X.________ a retiré son recours.
Par jugement du 16 novembre 2016, la Commission de recours a procédé à une reformatio in pejus des amendes prononcées, en appliquant au montant total des impôts soustraits (3'604'490 fr.) un coefficient de 2. L'amende totale qui en découlait s'élevait désormais à 7'208'980 fr. (3'604'490 fr. x 2) au lieu du montant de 1'200'000 fr. qui avait été fixé par le Service cantonal en application d'un coefficient d'un tiers.

C.

Agissant par la voie du recours en matière de droit public, X.________ demande au Tribunal fédéral, principalement, d'annuler la décision du 16 novembre 2016 de la Commission de recours avec renvoi éventuel de la cause à la Commission de recours ou à l'autorité inférieure pour nouvelle décision dans le sens des considérants; subsidiairement, de réformer la décision entreprise en ce sens qu'aucune amende pour soustraction fiscale ne soit prononcée à son encontre; plus subsidiairement, de réformer la décision entreprise en ce sens que les amendes prononcées à son encontre n'excèdent pas 1'200'000 fr.
La Commission de recours renvoie à la décision entreprise et conclut au rejet du recours. L'Administration fédérale des contributions s'est déterminée. Sans prendre de conclusions, elle invite le Tribunal fédéral à examiner si les juges cantonaux n'ont pas excédé leur pouvoir d'appréciation en multipliant par six le montant de l'amende fixé par le Service cantonal. Ce dernier s'est aussi déterminé. Il expose le raisonnement qu'il a suivi pour fixer l'amende à un tiers du total des impôts soustraits et relève que l'application de ce coefficient emporte toujours sa conviction. Le recourant a déposé d'ultimes observations.
Par ordonnance du 20 février 2018 (cause 6B_133/2018), la Cour de droit pénal du Tribunal fédéral a rejeté la demande de jonction de la cause 6B_133/2018, ouverte à la suite du recours que X.________ a interjeté contre le jugement rendu le 15 décembre 2017 par le Tribunal cantonal du Valais en matière de TVA, avec la présente procédure.

Considérant en droit :

I. Recevabilité et points de procédure

1.

1.1. La Commission de recours a rendu une seule décision concernant les amendes pour soustraction fiscale, valant tant pour l'impôt fédéral direct que pour l'impôt cantonal et communal, ce qui est en principe admissible (ATF 135 II 260 consid. 1.3.1 p. 262 ss). En pareilles circonstances, on ne peut reprocher au recourant d'avoir formé un seul recours au Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'impôt cantonal et communal (2C_12/2017), l'autre l'impôt fédéral direct (2C_13/2017). Comme l'état de fait est identique et que les questions juridiques soulevées par le recourant valent pour les deux catégories d'impôts, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).

1.2. La décision attaquée est finale (art. 90 LTF) et a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est donc ouverte (cf. également l'art. 146 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 [LIFD; RS 642.11], ainsi que l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] pour ce qui concerne l'impôt cantonal et communal). Par ailleurs, le recours a été déposé en temps utile compte tenu des féries (cf. art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes prescrites (cf. art. 42 LTF) par le destinataire de la décision attaquée, qui a un intérêt digne de protection à son annulation ou sa modification, de sorte qu'il a qualité pour recourir (cf. art 89 al. 1 LTF). Il convient donc d'entrer en matière.

2.

2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al 1 LTF). Conformément à l'art 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux ainsi que celle de dispositions de droit cantonal que si le grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (ATF 142 I 99 consid. 1.7.2 p. 106; 141 I 36 consid. 1.3 p 41). Sous réserve des cas visés à l'art 95 let. c à e LTF qui n'entrent pas en ligne de compte en l'espèce, le grief de violation du droit cantonal ne peut pas être soulevé dans un recours devant le Tribunal fédéral. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à un droit fondamental (cf. ATF 142 I 172 consid. 4.3 p. 176; 135 III 513 consid. 4.3 p. 521 s.; 133 III 462 consid. 2.3 p. 466). Le Tribunal fédéral vérifie toutefois librement la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID, à moins que les dispositions de cette loi ne laissent une certaine marge de manoeuvre aux cantons. Dans un tel cas, l'examen du Tribunal fédéral se limite à l'examen de la violation de droits constitutionnels dûment invoqués et motivés par le recourant (cf. art. 106 al. 2 LTF), en particulier l'arbitraire (ATF 142 V 94 consid. 1.3 p. 96; V 513 consid. 4.2 p. 516; 134 II 207 consid. 2 p. 210).

2.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (ATF 140 III 115 consid. 2 p. 117) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de l'art. 106 al. 2 LTF. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 140 III 264 consid. 2.3 p. 266; 136 II 101 consid. 3 p. 104 s.).
Dans la mesure où le recourant présente sa propre version des faits ou complète librement l'état de fait, sans faire valoir ni a fortiori établir que les juges cantonaux les auraient établis de manière arbitraire, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.

II. Droit d'être entendu

3.

Invoquant les art. 29 al. 2 Cst. et 6 CEDH, le recourant fait valoir une violation de son droit d'être entendu.

3.1. Le droit d'être entendu est une garantie de nature formelle, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond. Lorsque la violation du droit d'être entendu porte sur une question juridique, le Tribunal fédéral peut le réparer s'il dispose du même pouvoir d'examen que l'instance précédente (arrêt 6B_257/2012 du 22 avril 2013 consid. 3 et les arrêts cités). Une réparation de la violation du droit d'être entendu par le Tribunal fédéral peut aussi se justifier, même en présence d'un vice grave, lorsque le renvoi constituerait une vaine formalité et aboutirait à un allongement inutile de la procédure (cf. ATF 142 II 218 consid. 2.8.1 p. 226; 137 I 195 consid. 2.3.2 p. 197 s.; 135 I 279 consid. 2.6.1 p. 285).

3.2. Dans un premier grief, le recourant soutient que si la Commission de recours s'estimait compétente pour procéder à une reformatio in pejus des amendes prononcées par le Service cantonal, elle était tenue de lui indiquer les raisons qui justifiaient, selon elle, une telle aggravation. Il est d'avis que la Commission de recours aurait également dû l'avertir, après qu'il a retiré son recours, qu'elle allait statuer au fond nonobstant ce retrait, et lui accorder un délai complémentaire pour se déterminer.

3.2.1. Le droit d'être entendu garantit à toute personne qui est partie à une procédure le droit d'être informée et entendue avant qu'une décision ne soit prise à son détriment (ATF 142 II 218 consid. 2.3 p. 222; III 48 consid. 4.1.1 p. 52 s.). Le droit d'être entendu ne porte en principe pas sur la décision projetée (ATF 132 II 257 consid. 4.2 p. 267; arrêts 2C_21/2013 du 5 juillet 2013 consid. 3.1; 2P.33/2006 du 18 avril 2007 consid. 2.1). L'autorité n'a donc pas à soumettre par avance aux parties le raisonnement qu'elle entend tenir pour prise de position. Cependant, lorsqu'elle envisage de fonder sa décision sur une norme ou un motif juridique non évoqué dans la procédure antérieure et dont aucune des parties en présence ne s'est prévalue et ne pouvait supputer la pertinence, le droit d'être entendu implique de donner au justiciable la possibilité de se déterminer à ce sujet (ATF 131 V 9 consid. 5.4.1 p. 26; 128 V 272 consid. 5b/bb p. 278; arrêt 2C_356/2017 du 10 novembre 2017 consid. 4.3 et les références).

3.2.2. En l'espèce, le recourant a été informé par les juges cantonaux du fait qu'une reformatio in pejus des amendes prononcées par le Service cantonal était possible. Ils lui ont en conséquence accordé un délai de trente jours pour se déterminer à ce sujet. Le recourant a donc eu la possibilité de s'exprimer sur l'éventualité d'un prononcé en sa défaveur. On ne voit pas que la Commission de recours devait lui indiquer les motifs pour lesquels elle envisageait une reformatio in pejus, dès lors que les faits et les dispositions applicables à la fixation des amendes représentaient l'objet même du recours, que le recourant avait déjà fait valoir ses arguments en faveur d'une quotité d'amende inférieure dans son recours et qu'il avait été entendu oralement par la Commission de recours le 29 avril 2016.
La Commission de recours n'a pas non plus violé le droit d'être entendu du recourant en ne lui donnant pas l'occasion de s'exprimer sur son intention de statuer au fond nonobstant le retrait du recours. L'éventualité qu'une reformatio in pejus intervienne malgré un retrait de recours ne pouvait pas être considérée comme imprévisible pour le recourant, représenté par des avocats. Cette possibilité est en effet admise à certaines conditions par le Tribunal fédéral, et la jurisprudence y relative a fait l'objet de nombreux commentaires en doctrine (cf. sur ce point infra consid. 7.1).

3.3. Dans un second grief, le recourant se plaint d'une violation de son droit d'être entendu pour défaut de motivation. Il reproche à la Commission de recours de ne pas s'être prononcée sur l'argument tiré du principe "ne bis in idem" qu'il avait invoqué devant elle lors de l'audition du 29 avril 2016.

3.3.1. La jurisprudence a déduit du droit d'être entendu le devoir pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. La motivation peut être implicite et résulter des différents considérants de la décision (cf. ATF 141 V 557 consid. 3.2.1 p. 565; 139 IV 179 consid. 2.2 p. 183).

3.3.2. En l'occurrence, le recourant a invoqué le principe "ne bis in idem" devant la Commission de recours lors de l'audition du 29 avril 2016, en lien avec une décision rendue à son encontre en matière de TVA et avec l'ordonnance pénale du 16 juillet 2014 du Ministère public vaudois. Quelques jours après cette audition, les juges cantonaux ont du reste demandé au recourant qu'il leur fasse parvenir ces deux décisions. L'arrêt attaqué ne contient toutefois aucune motivation explicite au sujet du principe "ne bis in idem". Sa lecture ne permet par ailleurs pas de savoir si les juges cantonaux ont implicitement statué sur cette question pour en conclure que le principe "ne bis in idem" ne s'appliquait pas, ou alors, qu'il s'appliquait, mais que les amendes infligées n'aboutissaient pas en l'espèce à sa violation. Il n'était donc pas possible pour le recourant de discerner les motifs qui avaient guidé la décision des juges cantonaux en lien avec le principe "ne bis in idem". La Commission de recours a partant violé le droit d'être entendu du recourant. Ce constat ne doit toutefois pas conduire en l'espèce à l'annulation de l'arrêt attaqué. En effet, dans la mesure où le recourant invoque aussi le principe "ne bis in idem" devant la Cour de céans d'une manière conforme aux exigences de l'art. 106 al. 2 LTF et que partant celui-ci peut examiner la question librement, ce vice peut être réparé dans le présent arrêt (cf. supra consid. 3.1 et infra consid. 10).

III. Prescription

4.

Avant d'examiner les griefs soulevés par le recourant à l'encontre de l'arrêt attaqué, il convient de vérifier la question de la prescription de la poursuite pénale, que le Tribunal fédéral examine d'office (cf. ATF 138 II 169 consid. 3.2 p. 171).
III/1 Impôt fédéral direct

4.1. Selon l'art. 184 al. 1 let. b ch. 1 LIFD en vigueur depuis le 1er janvier 2017 (cf. la loi fédérale du 26 septembre 2014 [RO 2015 779] et arrêt 2C_1010/2016 du 19 juillet 2017 consid. 2.4), la poursuite pénale se prescrit, en cas de soustraction d'impôt consommée, par dix ans à compter de la fin de la période fiscale pour laquelle la taxation n'a pas été effectuée ou l'a été de façon incomplète. Selon le nouvel art. 184 al. 2 LIFD, la prescription ne court plus si une décision a été rendue par l'autorité cantonale compétente (art. 182 al. 1) avant l'échéance du délai de prescription. Avant le 1er janvier 2017, la poursuite pénale de la soustraction consommée se prescrivait par 15 ans, par le jeu de l'art. 184 let. b ch. 1 et al. 2 aLIFD, en lien avec l'art. 333 al. 6 let. b CP (arrêt 2C_173/2015 du 21 novembre 2014 consid. 5.1.1, in RF 71/2016 p. 882).
Conformément au principe de la lex mitior exprimé à l'art. 205f LIFD, le nouveau droit de la prescription est applicable aux infractions commises au cours de périodes fiscales précédant l'entrée en vigueur de la modification du 26 septembre 2014, s'il est plus favorable que le droit en vigueur au cours de ces périodes fiscales.
Il est vrai qu'en principe, le nouveau droit, dans la mesure où il empêche la prescription de courir, en particulier durant la procédure devant le Tribunal fédéral, se révèle moins favorable que l'ancien droit aux contribuables (cf. arrêts 2C_173/2015 précité consid. 5.1.1). Il est en revanche plus favorable si aucune décision n'a été rendue dans les dix ans à compter de la fin de la période fiscale.

4.2. En l'occurrence, la poursuite pénale de la soustraction d'impôt consommée commise par le recourant au cours de la période fiscale 2003 s'est prescrite à la fin de la période fiscale 2013. La prescription n'a en effet pas été interrompue par la décision du Service cantonal, qui n'est intervenue que le 21 juillet 2014, soit plus de dix ans après la fin de la période fiscale 2003. Le nouveau droit est partant applicable en tant que lex mitior.
III/2 Impôt cantonal et communal

4.3. L'art. 58 LHID consacré à la prescription de la poursuite pénale a aussi été modifié, avec effet au 1er janvier 2017, par la loi fédérale précitée du 26 septembre 2014. S'agissant de la poursuite de la soustraction d'impôt consommée, l'art. 58 LHID prévoit une réglementation identique à celle de la LIFD. Le principe de la lex mitior s'applique (cf. art. 78f LHID et arrêt 2C_1010/2016 précité consid. 3). Selon l'art. 72s LHID, les cantons adaptent leur législation à la LHID en la matière, sans quoi ses dispositions sont directement applicables si le droit fiscal cantonal leur est contraire. La prescription n'est donc pas uniquement régie par le droit cantonal, de sorte que ce point peut être revu d'office (ATF 138 II 169 consid. 3.4 p. 172).

4.4. En l'occurrence, l'art. 210 al. 1 let. b de la loi fiscale valaisanne (RS/VS 642.1; ci-après: LF) est conforme à la LHID en tant qu'il prévoit un délai de prescription de la poursuite pénale de 10 ans en cas de soustraction d'impôt consommée. La poursuite pénale de la soustraction d'impôt cantonal et communal commise par le recourant au cours de la période fiscale 2003 s'est donc en vertu du nouveau droit également prescrite à compter de la fin de l'année fiscale 2013.

IV. Reformatio in pejus d'une amende pour soustraction d'impôt

5.

Le recourant soutient que la Commission de recours ne pouvait pas procéder à une reformatio in pejus des amendes prononcées par le Service cantonal.

5.1. La prohibition de la reformatio in pejus n'est garantie ni par le Protocole n° 7 à la CEDH, ni par l'art. 32 al. 2 Cst., ni par le Pacte ONU II (RS 0.103.2). Par conséquent, la législation interne peut l'interdire ou l'autoriser (arrêts 2C_476/2014 du 21 novembre 2014 consid. 5.1; 2C_1022/2011 du 22 juin 2012 consid. 8.1 et les références, non publié in ATF 138 I 367). En droit pénal suisse, le principe de l'interdiction de la reformatio in pejus est consacré à l'art. 391 al. 2 1e phrase du Code de procédure pénale suisse (CPP; RS 312.0), qui prévoit que - sous réserve des situations visées à l'art. 391 al. 2 2e phrase CPP - l'autorité de recours ne peut modifier une décision au détriment du prévenu ou du condamné si le recours a été interjeté uniquement en leur faveur.

5.2. La question à trancher consiste à déterminer si l'art. 391 al. 2 CPP s'applique en matière de soustraction d'impôt, comme le soutient le recourant.

IV/1 Impôt fédéral direct

5.3. Selon l'art. 182 al. 3 LIFD, les dispositions sur les principes généraux de procédure et les procédures de taxation et de recours s'appliquent par analogie à la procédure pour soustraction d'impôt. L'art. 182 al. 3 LIFD renvoie notamment à l'art. 143 LIFD, relatif à la procédure de recours. Selon l'al. 1 2e phrase de cette disposition, la commission cantonale de recours peut modifier la taxation au désavantage du contribuable après l'avoir entendu. La même compétence échoit à l'éventuelle seconde instance prévue par le droit cantonal (cf. le renvoi de l'art. 145 al. 2 LIFD).
Etant donné le renvoi clair de l'art. 182 al. 3 LIFD, la compétence de procéder à une reformatio in pejus appartient donc aussi au juge appelé à se prononcer sur la quotité d'une amende pour soustraction fiscale (cf. arrêts 2C_377/2014 du 26 mai 2015 consid. 4.3; 2P.217/2005 du 16 octobre 2006 consid. 9.1; cf. aussi arrêt 2C_476/2014 précité consid. 5.2). Cette compétence est du reste aussi admise en doctrine (cf. par exemple RICHNER/FREI/ KAUFMANN/MEUTER, Handkommentar zum DBG, 2e éd. 2016, n° 156 ad art. 182 DBG, AGNER/JUNG/STEINMANN, Commentaire de la loi sur l'impôt fédéral direct, 2001, n° 3 ad art. 182 DBG; ROMAN J. SIEBER/JASMIN MALLA, in Kommentar zum schweizerischen Steuerrecht, Bundesgesetz über die direkte Bundessteuer (DBG) [ci-après: Kommentar DBG], 3e éd. 2017, n° 95 ad art. 182 DBG). Le recourant ne peut donc pas être suivi en tant qu'il soutient que le renvoi contenu à l'art. 182 al. 3 LIFD ne suffit pas pour admettre une reformatio in pejus de l'amende.

5.4. Le recourant soutient aussi que le renvoi de l'art. 182 al. 3 LIFD est justifié dans la mesure où il appartient à l'autorité administrative de statuer tant sur la taxation que sur la soustraction d'impôt. Cette situation procédurale particulière n'impliquerait pas pour autant que l'on puisse faire abstraction du principe de l'interdiction de la reformatio in pejus en matière de soustraction d'impôt, qui aboutit bien à une sanction de nature pénale. Du point de vue téléologique, l'application de ce principe s'imposerait aussi pour des raisons de cohérence et d'équité par rapport aux contribuables poursuivis pour des délits fiscaux au sens des art. 186 et 187 LIFD, qui bénéficient, eux, du principe de l'interdiction de la reformatio in pejus de l'art. 391 al. 2 CPP, par le renvoi figurant à l'art. 188 al. 2 LIFD. Le recourant n'admet en définitive la possibilité d'augmenter le montant de l'amende pour soustraction d'impôt en procédure de recours que si cette augmentation est liée à une reformatio in pejus de la taxation elle-même (cf art. 143 al. 1 LIFD), car elle n'en représenterait alors qu'une conséquence automatique, le montant de l'amende étant avant tout fixé sur la base du montant de l'impôt soustrait.
Le recourant plaide en réalité pour un changement du système actuel, qu'il juge incohérent et inéquitable, en procédant à une réflexion de lege ferenda. Or, ce système découle de l'application du droit fédéral actuel, que le Tribunal fédéral et les autres autorités doivent appliquer (art. 190 Cst.).

5.5. Il s'ensuit que la Commission de recours a correctement appliqué le droit fédéral en estimant qu'une reformatio in pejus de l'amende prononcée en matière d'IFD était possible. Le grief du recourant est rejeté.

IV/2 Impôt cantonal et communal

5.6. Au niveau cantonal, les juges précédents retiennent que l'art. 208 al. 5 LF prévoit l'application de la loi valaisanne du 6 octobre 1976 sur la procédure et la juridiction administratives (LPJA; RS/VS 172.6) à la procédure de soustraction d'impôt. Ils en déduisent qu'une reformatio in pejus des amendes cantonales prononcées pour soustraction fiscale est possible, en vertu de l'art. 61 al. 2 et 3 LPJA, selon lequel l'autorité de recours peut modifier la décision attaquée au détriment d'une partie, lorsque celle-là viole la loi ou repose sur une constatation inexacte ou incomplète des faits.

5.7. Le recourant soutient que les juges cantonaux ont arbitrairement (art. 9 Cst.) appliqué le droit cantonal en recourant à l'art. 61 al. 2 et 3 LPJA, car cette disposition ne vise que les recours devant les autorités administratives et non pas les recours judiciaires. L'interdiction de procéder à une reformatio in pejus d'une amende cantonale pour soustraction d'impôt découlerait de l'art. 79 LPJA, qui prévoit que le Tribunal cantonal ne peut modifier la décision attaquée au détriment du recourant. Cette interdiction serait renforcée par l'art. 34i LPJA, qui prévoit l'application du CPP (et donc de l'art. 391 CPP prohibant la reformatio in pejus) en matière de contraventions.

5.8. Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, qu'elle viole gravement une norme ou un principe juridique clair et indiscuté ou qu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. Il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (ATF 142 V 513 consid. 4.2 p. 516 et les références; 140 I 201 consid. 6.1 p. 205).

5.9. Avant de se demander si les juges cantonaux ont appliqué arbitrairement le droit cantonal, il faut d'abord déterminer si et dans quelle mesure la matière est harmonisée (cf. supra consid. 2.1). En l'occurrence, la procédure pour soustraction d'impôt fait l'objet de l'art. 57bis LHID, dont l'alinéa 3 prévoit que les dispositions relatives aux principes généraux, à la procédure de taxation et à la procédure de recours sont applicables par analogie.

5.9.1. L'art. 57bis al. 3 LHID renvoie aux dispositions relatives aux principes généraux, à la procédure de taxation et à la procédure de recours contenues dans la LHID. Le renvoi de l'art. 57bis al. 3 LHID se réfère aux principes et dispositions figurant dans la LHID. Ce ne sont donc que les règles figurant dans la LHID et qui s'imposent aux cantons comme du droit harmonisé qui sont visées. En revanche, dans la mesure où les cantons conservent une marge de manoeuvre, ils sont libres d'appliquer par analogie les règles procédant de leur droit autonome à la procédure pour soustraction d'impôt ou de prévoir d'autres règles. En d'autres termes, le renvoi de l'art. 57bis al. 3 LHID ne vise pas les règles cantonales procédant du droit autonome.

5.9.2. S'agissant de la procédure de recours, l'art. 57bis al. 3 LHID renvoie à l'art. 50 LHID, qui n'impose pas la reformatio in pejus en procédure de recours (contrairement à l'art. 48 al. 3 LHID en matière de réclamation). Il faut en conclure que les cantons sont libres de décider s'ils entendent ou non prévoir la reformatio in pejus en droit cantonal dans le cadre de la procédure de recours (HUGO CASANOVA, Rekursverfahren, in Archives 61 p. 444, SILVIA HUNZIKER, in Kommentar zum schweizerischen Steuerrecht, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [ci-après: Kommentar StHG], n° 16 ad art. 50 StHG; apparemment d'un autre avis: R OMAN J. SIEBER/JASMIN MALLA, in Kommentar StHG, n° 13 et 14 ad art 57bis StHG).

5.9.3. En droit fiscal valaisan, l'art. 151a LF, qui figure dans le chapitre 6 "Procédure de recours" du Titre sixième "Procédure" de la loi, prévoit que l a commission cantonale de recours (...) peut modifier la décision en défaveur du recourant après avoir entendu celui-ci. La reformatio in pejus est donc possible en procédure cantonale en ce qui concerne la procédure de taxation.

5.10. Reste à déterminer si les juges cantonaux sont tombés dans l'arbitraire en retenant qu'une reformatio in pejus était aussi possible en matière d'amende pour soustraction d'impôt.
L'art. 208 al. 5 LF dont se prévaut le recourant dispose que les dispositions de la loi sur la procédure et la juridiction administratives sont applicables à la procédure pénale

5.11. Le renvoi contenu à l'art. 208 al. 5 LF est un renvoi général à la LJPA et non pas un renvoi à une disposition particulière de celle-ci. De plus, l'art. 208 al. 4 LF prévoit que la décision sur réclamation en matière de soustraction d'impôt est susceptible d'un recours à la Commission cantonale de recours en matière d'impôt. Or, comme on l'a vu, cette autorité peut, en vertu de l'art. 151a LF, procéder à une reformatio in pejus en procédure de taxation. Il n'apparaît dans ce contexte pas arbitraire que cette règle s'applique aussi à la procédure pour soustraction d'impôt, qui relève de la compétence de la même autorité. Par ailleurs, il a été vu que la possibilité de procéder à une reformatio in pejus d'une amende prononcée pour soustraction d'impôt est prévue en matière d'impôt fédéral direct (cf. supra consid. 5.3 à 5.5). Le fait d'appliquer la même solution en droit cantonal qu'en matière d'impôt fédéral direct répond aussi à un objectif d'harmonisation verticale (MARKUS ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, Direkte Steuern, 2008, p. 306; cf. aussi ANDREA PEDROLI, Novità et tendenze legislative nel campo del diritto tributario, in RtiD 2004 II 425, p. 475) et ne saurait apparaître comme insoutenable. Pour ces raisons, il faut admettre que le résultat auquel parviennent les juges cantonaux échappe à l'arbitraire. Les conditions ne sont donc pas réunies pour admettre le grief d'application arbitraire du droit cantonal soulevé par le recourant.

V. Reformatio in pejus en cas de retrait du recours

6.

Le recourant reproche ensuite à la Commission de recours d'avoir statué en sa défaveur en aggravant les amendes, alors qu'il avait retiré son recours. Il ne conteste pas sur le principe la possibilité pour le juge de statuer au fond malgré le retrait d'un recours à certaines conditions en matière d'impôt fédéral direct, mais il soutient que ces conditions n'étaient pas réunies en l'espèce.
S'agissant de l'impôt cantonal et communal, il fait valoir que les juges cantonaux ont appliqué arbitrairement le droit cantonal en retenant que celui-ci permettait de statuer au fond nonobstant le retrait du recours, alors que le droit cantonal ne prévoirait clairement pas cette possibilité.

V/1 Impôt fédéral direct

7.

7.1. Sous l'empire de l'ancien arrêté fédéral sur l'impôt fédéral direct (AIFD), les commissions cantonales de recours pouvaient procéder à une reformatio in pejus nonobstant le retrait du recours (cf. arrêt 2A.408/2002 du 13 février 2004, consid. 1.4, in StE 2004 B 96.12 Nr. 14, Archives 75 p. 159). Le Tribunal fédéral a reconnu qu'il en allait, à certaines conditions, de même depuis l'entrée en vigueur de la LIFD (même arrêt, consid. 1.4). L'un des arguments avancés est que l'art. 142 al. 4 LIFD prévoit que les commissions cantonales de recours ont les mêmes compétences que l'autorité de taxation dans la procédure de taxation et que, comme l'autorité de taxation est habilitée à statuer au fond nonobstant le retrait de la réclamation si la taxation est inexacte (cf. art. 134 al. 2 LIFD), cette compétence doit aussi être conférée aux commissions cantonales de recours. Le Tribunal fédéral est toutefois plus restrictif en procédure de recours. En effet, alors qu'en procédure de réclamation, l'art. 134 al. 2 LIFD prévoit que l'autorité de taxation peut procéder à une reformatio in pejus dès qu'elle constate que la taxation est "inexacte", le Tribunal fédéral retient qu'en procédure de recours, deux conditions doivent être remplies. La première condition est objective: il faut que la décision entreprise soit "manifestement incompatible avec les dispositions applicables". La seconde est subjective: la correction de la décision entreprise doit "revêtir une importance notable" et "s'imposer" (cf. arrêt 2A.408/2002 précité consid. 1.4 in fine). Cet arrêt a été confirmé quelques mois plus tard (arrêt 2A.286/2004 du 31 août 2004, in Pra 2005 Nr. 18) et évoqué par la Cour de céans en 2010 (cf. arrêts 2C_241/2010 du 3 août 2010 consid. 2.4 et 2C_299/2009 du 20 juin 2010 consid. 1.3 in RDAF 2010 II 494, Archives 79 p. 563).
Cette jurisprudence a certes été critiquée par certains auteurs (cf. notamment MARKUS FELBER, Abfuhr trotz Rückzug der Beschwerde, in Jusletter du 21 juin 2004 et RF 59/2004 p. 536; URS R. BEHNISCH, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahre 2004, in ZBJV 2006 p. 212 s.; MADELEINE SIMONEK, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahre 2004, in Archives 75 p. 23; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n° 18 ad art. 142 DBG). Elle a toutefois été approuvée par d'autres (cf. SILVIA HUNZIKER/ISABELLE MAYER-KNOBEL, in Kommentar DBG, n° 10 ss ad art. 143 DBG; PETER LOCHER, Kommentar DBG, III. Teil, n° 14 ad Einführung zu Art. 140 ff DBG), alors que d'autres encore en font état sans la critiquer (PEDROLI, in op. cit., p. 472; XAVIER OBERSON, Le contentieux fiscal, in Les procédures en droit fiscal, 3e éd. 2015, p. 773; ZWEIFEL/CASANOVA, op. cit., p. 318; CASANOVA/DUBEY, in Commentaire de la LIFD, 2e éd. 2017, n° 4 ad art. 143 LIFD). Par ailleurs, le recourant ne remet pas en cause la pratique du Tribunal fédéral, mais se limite à contester que l'on se trouve dans un cas d'application de cette jurisprudence en l'espèce. Il n'y a donc pas lieu de discuter cette jurisprudence (sur les conditions justifiant de revenir sur une jurisprudence, cf. ATF 142 V 112 consid. 4.4 p. 117 et les références). Il s'agit uniquement de vérifier si la Commission de recours l'a correctement appliquée, ce que le recourant conteste. Cet examen suppose que l'on rappelle au préalable les principes qui président à la fixation d'une amende pour soustraction d'impôt, car c'est sur cette base que l'on pourra déterminer si les juges précédents ont respecté les conditions posées par la jurisprudence pour augmenter le montant des amendes retenues par le Service cantonal malgré le retrait du recours.

7.2. Les règles de fixation de l'amende pour soustraction d'impôt sont prévues à l'art. 175 al. 2 LIFD comme suit:

"En règle générale, l'amende est fixée au montant de l'impôt soustrait. Si la faute est légère, l'amende peut être réduite jusqu'au tiers de ce montant; si la faute est grave, elle peut au plus être triplée."

7.2.1. Le montant de l'impôt soustrait constitue le premier élément de fixation de la peine. Celle-ci doit ensuite être fixée selon le degré de faute de l'auteur (cf. ATF 143 IV 130 consid. 3.3 p. 137). En présence d'une infraction intentionnelle sans circonstances particulières, l'amende équivaut en règle générale au montant de l'impôt soustrait (arrêts 2C_476/2014 précité consid. 10.1; 2C_777/2014 du 13 octobre 2014 consid. 6.2, in RF 69/2014 p. 898, Pra 2015/84 p. 676; 2C_480/2009 du 16 mars 2010 consid. 6.2). En cas de faute grave, l'amende doit donc en principe être supérieure à une fois l'impôt soustrait et peut être au plus triplée (cf. art. 175 al. 2 in fine LIFD).

7.2.2. La quotité précise de l'amende doit par ailleurs être fixée en tenant compte des dispositions de la partie générale du Code pénal suisse (CP; RS 311.0) qui ont vocation à s'appliquer en droit pénal fiscal, à moins que la LIFD ne contienne des dispositions sur la matière (cf. art. 333 al. 1 CP).
Conformément à l'art. 106 al. 3 CP, l'amende doit être fixée en tenant compte de la situation de l'auteur, afin que la peine corresponde à la faute commise. Les principes régissant la fixation de la peine prévus à l'art. 47 CP s'appliquent (ATF 143 IV 130 consid. 3.2 p. 135; arrêt 2C_851/2011 du 15 août 2012 consid. 3.2 et 3.3, in RF 67/2012 p. 759). En droit pénal fiscal, les éléments principaux à prendre en considération sont le montant de l'impôt éludé, la manière de procéder, les motivations, ainsi que les circonstances personnelles et économiques de l'auteur (arrêts 2C_180/2013 du 5 novembre 2013 consid. 9.1, in RF 69/2014 p. 237; 2C_851/2011 précité consid. 3.3 et les références).
Les circonstances atténuantes de l'art. 48 CP sont aussi applicables par analogie en droit pénal fiscal (cf. arrêts 2C_1157/2016 du 2 novembre 2017 consid. 6.2; 2C_180/2013 précité consid. 9.1; 2C_851/2011 précité consid. 3.3; 2C_188/2009 du 7 juillet 2009 consid. 2.4 et les références, in StE 2010 B 101.9 Nr. 12, RF 65/2010 p. 223).
L'art. 49 al. 1 CP prévoit en substance que si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion, sans pouvoir excéder de plus de la moitié le maximum de la peine prévue pour cette infraction, le juge étant en outre lié par le maximum légal de chaque genre de peine. Tant les autorités fiscales intimées que le recourant soutiennent que l'art. 49 al. 1 CP est applicable lorsque la soustraction d'impôt est commise durant plusieurs périodes fiscales, au motif que l'on se trouve dans un cas d'infractions en concours réel. Ce raisonnement ne peut pas être suivi. Lorsqu'une soustraction d'impôt est commise durant plusieurs périodes fiscales, l'art. 175 al. 2 LIFD, qui pose comme critère le montant de l'impôt soustrait, est applicable pour fixer l'amende (art. 333 al. 1 in fine CP). L'art. 175 al. 2 LIFD a en effet vocation à s'appliquer à toutes les soustractions fiscales, y compris celles qui s'étendent sur plusieurs périodes fiscales, ce qui est du reste fréquemment le cas lorsque la soustraction est liée à un comportement durable, tel que la non-déclaration d'un compte bancaire. Preuve en est du reste que l'art. 194 al. 1 LIFD renvoie expressément à l'art. 175 LIFD en cas de soustraction continue de montants importants d'impôt au sens de l'art. 190 al. 2 LIFD, qui suppose par nature la commission d'une soustraction sur plus d'une période fiscale. La doctrine ne soutient au demeurant pas que l'art. 49 CP entrerait en ligne de compte en cas de soustraction d'impôt (cf. SIEBER/MALLA, in Kommentar DBG, n° 47 ad art. 175 DBG; SANSONETTI/HOSTETTLER, in Commentaire de la LIFD, n° 41 ss ad art. 175 LIFD; KOULOUD RAMELLA MATTA NASSI f, Il concorso tra sottrazione d'imposta e frode fiscale alla luce del principio ne bis in idem, in Novità fiscali 2017, p. 170). Le passage de la thèse de DIANE MONTI (Les contraventions en droit fiscal harmonisé, 2001, p. 73) auquel le recourant se réfère pour soutenir l'application de l'art. 49 al. 1 CP ne lui est d'aucun secours. Ce passage ne concerne en effet pas l'art. 49 al. 1 CP, mais l'art. 68 ch. 1 al. 2 aCP, qui prévoyait que si le délinquant avait encouru plusieurs amendes, le juge le condamnait à une amende proportionnée à sa culpabilité. Au demeurant, dans le passage en question, MONTI commente l'art. 68 ch. 1 al. 2 aCP en soulignant que l'autorité ne peut pas se contenter de fixer une peine correspondant à l'addition de toutes les amendes, mais qu'elle doit aussi tenir compte des ressources financières du contribuable, de sa situation professionnelle et familiale. Or, de telles considérations sur la manière de fixer le montant de l'amende ne sont pas incompatibles avec les principes de fixation de la peine qui viennent d'être rappelés (art. 47 et 106 al. 3 CP).

7.3. Les principes de fixation de l'amende établis, on peut maintenant vérifier si les deux conditions prévues par la jurisprudence (cf. supra consid. 7.1) étaient réunies pour que la Commission de recours puisse statuer au fond sur le recours formé par le recourant nonobstant le retrait de celui-ci.

7.3.1. S'agissant de la première condition (la décision entreprise était "manifestement incompatible avec les dispositions applicables"), il faut relever que, selon les constatations de l'arrêt attaqué, le recourant a commis intentionnellement une soustraction fiscale importante qui a impliqué la mise en place d'une structure complexe comprenant la constitution d'une société écran offshore, afin de dissimuler de manière durable des montants considérables de revenus imposables. Pareille soustraction d'impôt procède indubitablement d'une faute grave qui doit être sanctionnée, conformément à l'art. 175 al. 2 in fine LIFD, par une amende en principe supérieure à une fois le montant de l'impôt soustrait. Le Service cantonal ne pouvait ainsi fixer une amende inférieure qu'en présence de circonstances atténuantes avérées au sens de l'art. 48 CP.
Il ressort de l'arrêt attaqué (p. 15) que, pour parvenir à une quotité d'amende d'un tiers, le Service cantonal n'a mis en évidence aucune circonstance atténuante au sens de l'art. 48 CP, mais a fait application de l'art. 49 al. 1 CP, alors que cette disposition ne s'applique pas en cas de soustraction fiscale (supra consid. 7.2.2). Dans ses déterminations adressées au Tribunal fédéral, le Service cantonal avance d'autres arguments pour justifier la quotité d'un tiers qu'il a retenue. Il relève ainsi avoir pour pratique de réduire de moitié l'amende lorsque la soustraction provient d'une distribution dissimulée de bénéfice (afin de tenir compte du fait qu'il y a aussi une reprise et une amende dans le chef de la société dis tributrice), ajoute avoir aussi pris en considération le fait que les revenus soustraits ont été grevés a posteriori d'un impôt anticipé qui n'était pas récupérable, et indique finalement avoir voulu prononcer une amende qui serait effectivement recouvrable. Or, aucun de ces éléments ne représente une circonstance atténuante au sens de l'art. 48 CP.
Il s'ensuit qu'en prononçant une quotité d'amende correspondant à un tiers des impôts soustraits, le Service cantonal a rendu une décision qui est manifestement incompatible avec les dispositions applicables, en l'occurrence l'art. 175 al. 2 LIFD et l'art. 48 CP. C'est donc à juste titre que la Com mission de recours a conclu que la première condition de la reformatio in pejus en cas de retrait du recours était remplie.

7.3.2. Il faut encore vérifier que la correction de cette décision revêtait une importance notable et s'imposait à la Commission de recours (seconde condition de la reformatio in pejus en cas de retrait du recours).
Le fait d'appliquer au recourant une quotité d'amende d'un tiers, correspondant à la peine la plus clémente prévue par l'art. 175 al. 2 LIFD, alors qu'il a commis intentionnellement et de manière durable une grave soustraction fiscale, qui a même donné lieu à une enquête menée par la DAPE, revient à le traiter de manière privilégiée par rapport aux contribuables qui n'ont commis qu'une faute moyenne ou légère. Ce raisonnement revient en outre à envisager l'importance des montants soustraits comme un critère devant jouer en faveur du contribuable, alors que le critère légal de l'art. 175 al. 2 LIFD est celui de gravité de la faute. Ceci est contraire à la lettre et à l'esprit de l'art. 175 al. 2 LIFD. Cette disposition prévoit que l'amende doit être fixée dans une fourchette qui peut représenter jusqu'au triple de l'impôt soustrait dans les cas les plus graves. Le législateur a accepté par là qu'un contribuable coupable d'une soustraction d'impôt doive verser à la collectivité publique une somme totale correspondant finalement à quatre fois le montant de l'impôt (rappel d'impôt + amende correspondant au triple de cet impôt), et ce même en cas de soustraction de montants importants, la loi ne prévoyant aucun traitement privilégié en pareilles circonstances. Il n'appartient pas aux administrations fiscales de s'écarter des règles de l'art. 175 al. 2 LIFD en cas de grave soustraction, au motif que ce système aboutirait dans un cas d'espèce à un résultat jugé trop sévère, et qu'une amende correspondant au tiers de l'impôt soustrait constituerait déjà, selon eux, une peine suffisante.
Outre qu'elle viole l'art. 175 al. 2 LIFD, la décision du Service cantonal revient à traiter de manière plus favorable celui qui a le plus lourdement lésé la collectivité publique et qui a commis une faute grave par un comportement intentionnel, en le sanctionnant comme un contribuable qui n'a commis qu'une négligence. Cette situation heurte le sentiment de l'équité et le principe de l'égalité de traitement, ce qui justifiait l'intervention des juges cantonaux, tant il est vrai qu'il y a un intérêt public important à ce que les décisions rendues en matière d'amendes pour soustraction d'impôt respectent la légalité et l'égalité devant la loi et qu'elles ne conduisent pas à des traitements privilégiés indus (sur l'importance de l'intérêt public à une application conforme à la loi dans le contexte des taxations, arrêts 2C_506/2013 du 1er novembre 2013 consid. 4.3; 2C_241/2010 précité consid. 2.2).
Dans ces circonstances, il était non seulement possible mais également du devoir de la Commission de recours de corriger la quotité d'amende d'un tiers prononcée par le Service cantonal. Etant donné l'importance, la gravité et le caractère durable de la soustraction commise, cette correction revêtait une importance notable et elle s'imposait (seconde condition de la reformatio in pejus en cas de retrait du recours).

7.4. Il découle de ce qui précède que la Commission de recours était fondée à statuer in pejus nonobstant le retrait du recours. Le grief du recourant est partant rejeté s'agissant de l'impôt fédéral direct.

V/2 Impôt cantonal et communal

8.

8.1. Le recourant soutient que le droit cantonal valaisan ne permet pas d'effectuer une reformatio in pejus, que cette interdiction a été renforcée après qu'il a retiré son recours et que la Commission cantonale de recours a arbitrairement appliqué le droit cantonal en y procédant néanmoins. Il reproche en particulier aux juges précédents d'avoir arbitrairement recouru à l'art. 152 al. 2 LF (" Il n'est pas donné suite à un retrait s'il apparaît sur la base du dossier que la décision attaquée était inexacte ") et non pas à l'art. 58 LPJA (" L'intéressé peut retirer son recours tant qu'il n'a pas fait l'objet d'une décision sur le fond "), alors que l'art. 208 al. 5 LF prévoit pourtant clairement, selon le recourant, que les dispositions de la LPJA sont applicables à la procédure pénale en soustraction d'impôt.

8.2. Comme il a été vu ci-dessus (consid. 5.11), les juges cantonaux ne sont pas parvenus à un résultat arbitraire en retenant qu'une reformatio in pejus de l'amende cantonale était possible. S'agissant du point de savoir s'ils pouvaient statuer in pejus nonobstant le retrait du recours, le grief d'arbitraire doit aussi être rejeté, pour les raisons exposées ci-après.
En droit cantonal valaisan, l'art. 152 al. 2 LF, qui se trouve dans le chapitre 6 "Procédure de recours", du Titre sixième "Procédure" de la loi, prévoit qu'il n'est pas donné suite à un retrait s'il apparaît sur la base du dossier que la décision attaquée était inexacte. On ne peut donc pas reprocher aux juges cantonaux d'être parvenus à un résultat arbitraire en statuant au fond nonobstant le retrait du recours, dès lors que cela correspond à ce que prévoit la loi fiscale valaisanne. Ils ont du reste recouru aux mêmes critères - restrictifs - que la jurisprudence a posés en matière d'impôt fédéral direct, veillant par là à mettre en oeuvre l'objectif d'harmonisation verticale. On ne voit pas ce que cette démarche aurait d'arbitraire. Enfin, les principes du Code pénal en matière de fixation de l'amende s'appliquent aussi s'agissant de l'amende cantonale (cf., dans le contexte de la tentative de soustraction, ATF 143 IV 130 consid. 3.2 p. 135). Le raisonnement développé ci-dessus en matière d'impôt fédéral direct (consid. 7.2 et 7.3) est partant également applicable pour déterminer si l'amende cantonale prononcée par le Service cantonal pouvait faire l'objet d'une reformatio in pejus malgré le retrait du recours.

8.3. Il s'ensuit que, comme en matière d'impôt fédéral direct, la Commission cantonale de recours était fondée à réformer in pejus les amendes prononcées par le Service cantonal en matière d'impôt cantonal et communal.

VI. Quotité des amendes

9.

Le recourant soutient qu'en appliquant un coefficient de 2 pour fixer les amendes en matière d'impôt fédéral direct et d'impôt cantonal et communal, les juges précédents ont excédé leur pouvoir d'appréciation.

9.1. Le Tribunal fédéral n'examine le montant de l'amende pour soustraction d'impôt que sous l'angle de l'excès ou de l'abus du pouvoir d'appréciation et, par conséquent, n'annule une amende que si l'instance précédente a abusé ou excédé le cadre pénal, qu'elle s'est écartée de considérations juridiques pertinentes ou qu'elle a arbitrairement fixé une peine trop légère ou trop lourde (cf. ATF 114 Ib 27 consid. 4a p. 31; arrêts 2C_674/2015 du 26 octobre 2017 consid. 8.1; 2C_851/2011 précité consid. 1.5, in RF 67/2012 p. 759).

9.2. L'examen du Tribunal fédéral sera effectué de la même manière pour l'amende fédérale que pour l'amende cantonale et communale, car les mêmes principes s'appliquent pour les deux types d'impôts (cf. ATF 143 IV 130 consid. 3.2 p. 135 précité). Au demeurant, l'art 203 al. 2 LF réprime la soustraction consommée en prévoyant une réglementation similaire à celle de l'art. 175 al. 2 LIFD (cf. art. 56 al. 1 LHID). Par ailleurs, l'art. 215 al. 1 LF prévoit que les dispositions générales du Code pénal sont applicables, sous réserve de prescriptions contraires (cf. arrêt 2P.48/2006 du 10 mai 2006 consid. 3.1), alors que l'art. 215 al. 2 LF, qui prévoit que l'art. 49 CP n'est applicable qu'aux peines privatives de liberté, exclut par là même l'application de cette disposition aux amendes pour soustraction fiscale, ce qui correspond aussi à ce qui prévaut en matière d'impôt fédéral direct (cf. supra consid. 7.2.2).

9.3. En l'espèce, les juges cantonaux ont écarté l'application de l'art. 49 CP. Ils ont qualifié la faute commise par le recourant de grave au sens des art. 175 LIFD et 203 al. 2 LF. Celui-ci avait soustrait de manière planifiée et consciente des revenus durant neuf ans pour plusieurs millions de francs, par le biais d'une société offshore au nom de laquelle un compte bancaire avait été ouvert. Les juges cantonaux ont retenu que le recourant ne donnait pas l'impression d'avoir compris ses erreurs, revendiquant au contraire avoir agi pour le bien de tous. Ses seules "circonstances atténuantes" étaient l'absence d'antécédents en matière pénale fiscale et sa situation financière actuelle. Or, sur ce second point, comme le recourant prétendait avoir réinjecté les revenus soustraits dans ses sociétés, il fallait toutefois considérer que ceux-ci étaient réalisables. Le recourant ne pouvait pas se prévaloir de motifs honorables parce qu'il aurait agi, comme il l'affirmait, pour soutenir l'économie valaisanne. Il ne pouvait pas non plus invoquer une bonne collaboration, parce qu'il avait nié les faits reprochés durant des mois, jusqu'à la mise en oeuvre des mesures spéciales d'enquête par la DAPE, ni l'écoulement du temps depuis la première infraction, puisqu'il avait continué à violer la loi jusqu'à l'ouverture de cette enquête.

9.4. La quotité d'amende de deux fois le montant de l'impôt soustrait retenue par la Commission de recours constitue indéniablement une sanction sévère, car elle aboutit concrètement à une amende d'un montant total de plus de sept millions de francs. Elle ne procède toutefois pas pour autant d'un excès ou d'un abus du pouvoir d'appréciation, ne procède pas de considérations juridiques non pertinentes ni ne constitue une peine arbitrairement trop sévère.
D'abord, cette quotité respecte le cadre légal des art. 175 al. 2 LIFD et 203 al. 2 LF, qui prévoient la possibilité d'appliquer un coefficient allant jusqu'à trois fois le montant des impôts soustraits en cas de faute grave. Etant donné le comportement du recourant décrit par les juges cantonaux, on ne voit manifestement pas que ces derniers aient abusé ou excédé de leur pouvoir d'appréciation en considérant que le contribuable avait commis une faute grave. Selon les constations de l'arrêt attaqué, qui lient le Tribunal fédéral (art. 105 al. 1 LTF), ce n'est qu'après que son dossier et celui de A.X.________ SA ont été transmis à la DAPE que le recourant a mis fin à son comportement, ce qui correspond précisément au moment où il pouvait craindre que la structure qu'il avait mise en place soit mise au jour, étant donné que l'ouverture d'une enquête par la DAPE impliquerait la possibilité de lever le secret bancaire et de recourir à des mesures de contrainte (application des art. 19 à 50 DPA par renvoi de l'art. 191 al. 1 LIFD; cf. notamment AURELIA RAPPO, Infractions fiscales, blanchiment d'argent et obligations de diligence, in Blanchiment d'argent: actualité et perspectives suisses et internationales, 2014, p. 93 s.; ALAIN MACALUSO/LYUSKA HULLIGER, Le droit fiscal face aux principes du droit pénal et de la procédure pénale, in Droit pénal fiscal, 2013, p. 35; PIETRO SANSONETTI/DANIELLE HOSTETTLER, in Commentaire de la LIFD, n°13 ad art. 191 LIFD; ANDREAS DONATSCH/OMAR ABO YOUSSEF, in Kommentar DBG, n° 46 ss ad art. 191 DBG). Dans ces circonstances, et contrairement à ce que soutient le recourant, on ne peut reprocher aux juges précédents de ne pas avoir retenu de bonne collaboration du contribuable, quand bien même celui-ci aurait correctement collaboré avec la DAPE, ni de ne pas avoir tenu compte de l'écoulement du temps en sa faveur, puisque des soustractions ont été commises jusqu'en 2010. L'arrêt attaqué constate également de manière à lier le Tribunal fédéral, sur la base au demeurant des propres déclarations du recourant, que ce dernier a réinjecté les montants soustraits dans ses sociétés. On ne voit pas en quoi les juges cantonaux auraient abusé de leur pouvoir d'appréciation en considérant que ces montants pourraient être réalisés pour s'acquitter des montants dus. Le recourant ne formule du reste aucun grief à cet égard.
Pour contester la quotité retenue par les juges cantonaux, le recourant soutient encore qu'il faut prendre en considération le fait que les fuites et les attaques personnelles de la presse ont eu un impact économique négatif sur ses affaires et qu'il a subi une forte pression médiatique. Ces faits ne sont toutefois pas constatés par l'arrêt attaqué, de sorte que le Tribunal fédéral ne peut en tenir compte (cf. supra consid. 2.2). Ils ne seraient de toute manière pas suffisants pour conclure que les juges cantonaux ont excédé ou abusé de leur pouvoir d'appréciation.

9.5. Le grief du recourant dirigé contre la quotité d'amende de 2 retenue par la Commission de recours est partant rejeté.

VII. Violation du principe "ne bis in idem"

10.

Le recourant se plaint finalement d'une violation du principe "ne bis in idem". Il soutient qu'en droit pénal fiscal, la jurisprudence de la Cour européenne des droits de l'homme (ci-après: CourEDH) imposerait de réprimer l'ensemble des faits dans un seul et même jugement, et non pas au moyen de procédures parallèles.
Si le recourant évoque l'existence de plusieurs procédures ouvertes contre lui (notamment en matière de TVA et d'impôt anticipé), il ne fait valoir la violation du principe "ne bis in idem" qu'en lien avec sa condamnation du 16 juillet 2014 par le Ministère public du canton de Vaud pour " escroquerie au sens de l'art. 14 al. 2 DPA " (recte: pour usage de faux au sens de l'art. 186 LIFD). Il est d'avis qu'étant donné cette condamnation, il doit être acquitté dans la présente affaire. Il se prévaut des arrêts de la CourEDH Zolotoukhine, Glantz, Häkkä, Nykänenet Pirttimäki.

10.1. Nul ne peut être poursuivi ou puni pénalement par les juridictions du même Etat en raison d'une infraction pour laquelle il a déjà été acquitté ou condamné par un jugement définitif conformément à la loi et à la procédure pénale de cet Etat. Ce principe, exprimé par l'adage "ne bis in idem", est garanti par l'art. 4 al. 1 du Protocole n° 7 à la Convention de sauvegarde des droits de l'homme et des libertés fondamentales (RS 0.101.07) ainsi que par l'art. 14 par. 7 du Pacte international du 16 décembre 1966 relatif aux droits civils et politiques (RS.103.2). La règle découle en outre implicitement de la Constitution fédérale. Elle figure également à l'art. 11 al. 1 CPP (cf. ATF 137 I 363 consid. 2.1 p. 365).

10.2. Il s'agit de se demander si la condamnation du recourant pour soustraction d'impôt, qui fait l'objet de la présente procédure, viole la règle "ne bis in idem", dès lors que le recourant a déjà été condamné par le Ministère public pour usage de faux le 16 juillet 2014.

10.3. Dans un arrêt de principe du 24 septembre 1996, le Tribunal fédéral a jugé que la soustraction d'impôt et l'usage de faux n'étaient pas en concours imparfait, comme le retenait jusqu'alors la jurisprudence, mais en concours idéal. Le législateur réservait du reste expressément la répression de la soustraction d'impôt en cas de condamnation pour usage de faux (cf. art. 186 al. 2 LIFD et art. 59 al. 2 LHID). Le fait de sanctionner un contribuable pour usage de faux et pour soustraction d'impôt ne constituait donc pas en soi une violation du principe "ne bis in idem". Il fallait en revanche considérer que ce principe était violé si le contribuable devait se trouver puni plus sévèrement pour la seule raison que ces infractions étaient jugées par des autorités différentes. Le Tribunal fédéral en a déduit qu'il fallait s'assurer que l'ensemble des peines infligées par des autorités différentes ne constitue pas une sanction excessive et que, dans la répression de la soustraction d'impôt, l'usage de faux ne soit pas pris en compte pour augmenter ou aggraver la peine (cf. ATF 122 I 257 consid.6-8 p. 262 ss, confirmé notamment in arrêts 6B_453/2011 du 20 décembre 2011 consid. 5.7.5 non publié in ATF 138 IV 47; 6B_1056/2015 du 4 décembre 2015 consid. 1.2; cf. également A NDREAS DONATSCH, Zum Verhältnis zwischen Steuerhinterziehung und Steuerbetrug nach dem Steuerharmonisierungs- und dem Bundessteuergesetz, in Archives 60, p. 310 et les références).

10.4. En l'espèce, le comportement sanctionné par l'usage de faux n'est pas une circonstance qui a été prise en compte par les juges précédents parmi les éléments déterminants pour la fixation de l'amende pour soustraction d'impôt. L'arrêt attaqué n'est donc pas critiquable sous cet angle.
Ensuite, il faut souligner que la condamnation infligée par le Ministère public vaudois au recourant est une peine pécuniaire qui a été entièrement assortie du sursis durant deux ans, le Ministère public ayant du reste retenu en faveur du recourant le délai d'épreuve le plus bref prévu par le Code pénal (cf. art. 44 al. 1 CP). Cette condamnation n'a donc emporté aucune conséquence financière concrète pour le recourant. Au demeurant, même en cas de révocation du sursis, la peine pécuniaire due ne s'élèverait qu'à 54'000 fr. (180 jours-amende à 300 fr.), ce qui est marginal au regard du montant total des amendes pour soustraction d'impôt infligées, qui dépasse les sept millions de francs. On ne peut donc pas considérer que le fait que deux autorités sont intervenues pour sanctionner le recourant a abouti à une sanction excessive. Il n'y a donc pas de violation du principe "ne bis in idem" au regard de la jurisprudence du Tribunal fédéral.

10.5. La jurisprudence rendue par la CEDH ne justifie pas de revenir sur l'approche développée dans la jurisprudence précitée.
L'existence d'une même infraction ("idem") constitue la condition de base du principe "ne bis in idem". Dans l'arrêt Zolotoukhine c. Russie du 10 février 2009 (requête n° 14939/03), la Cour a précisé ce qu'il fallait entendre par une "même infraction" au sens de l'art. 4 du Protocole n° 7 CEDH (§ 83 ss de l'arrêt). Il ne s'agit pas uniquement de la qualification juridique de deux actes délictueux, mais de l'interdiction de poursuivre une personne pour une seconde infraction dans la mesure où celle-ci se fonde sur des faits identiques ou en substance les mêmes que ceux qui ont donné lieu à la première infraction (cf. aussi ATF 137 I 363 consid. 2.2 p. 365 s.; arrêt 6B_503/2015 du 24 mai 2016 consid. 1.1 non publié aux ATF 142 IV 276; arrêt de la CourEDH Rivard c/ Suisse du 4 octobre 2016, requête n° 21563/12, § 25). La CourEDH a ainsi opté pour une approche fondée sur l'identité des faits (cf. ROBERT ESSER, Das Doppelverfolgungsverbot in der Rechtsprechung des EGMR (...), in "Ne bis in idem" in Europa, 2015, p. 41 s.; SÉBASTIEN FANTI/CÉDRIC MIZEL, Ne bis in idem: exit Zolotoukhine, vive Boman, in PJA 5/2015, p. 763; LÉA MAULET, Le principe Ne bis in idem, objet d'un "dialogue" contrasté entre la Cour de justice de l'Union européenne et la Cour européenne des droits de l'homme, in Revue trimestrielle des droits de l'homme, 109/2017, p. 116).
Ce n'est qu'en présence d'une même infraction qu'il convient de se demander s'il y a eu répétition des poursuites (volet "bis" du principe). Sous cet angle, la jurisprudence de la CourEDH admet que s'il existe un lien matériel et temporel suffisamment étroit entre les procédures concernées visant la même constellation de faits, de sorte qu'elles peuvent être considérées comme deux aspects d'un système unique, il n'y a pas de dualité de la procédure contraire au principe "ne bis in idem" (cf. sur ce point l'arrêt de principe de la Grande Chambre A. et B contre Norvège du 15 novembre 2016, requêtes n° 24130/11 et 29758/11, qui fait la synthèse de la jurisprudence, en citant notamment les arrêts Glantz, Nykänen et Häkkä invoqués par le recourant, et qui présente sous § 132 les critères qui s'appliquent pour vérifier la condition du lien matériel et temporel entre les procédures).

10.6. Depuis l'arrêt Zolotoukhine, la CourEDH a eu l'occasion d'appliquer la notion de "même infraction" fondée sur l'identité des faits dans le domaine fiscal, dans des situations où un contribuable avait été condamné à payer une amende ("majoration d'impôt" ou "tax surcharge") ainsi qu'à une peine pour fraude fiscale ("tax offence"; cf. PHILIP BAKER Some recent decisions of the European Court of Human Rights on tax matters (...), in European Taxation, août 2016, p. 343).
Dans l'arrêt Pirttimäki c. Finlande du 20 août 2014 (requête n° 35232/11), cité par le recourant, la CourEDH a conclu qu'il n'y avait pas de même infraction et partant pas de violation du principe "ne bis in idem" dans le cas d'un contribuable qui s'était vu infliger une majoration d'impôt en lien avec la perception d'un dividende dissimulé de la société dont il était actionnaire, et qui avait ensuite été reconnu coupable de fraude fiscale aggravée et de violation du droit comptable, en lien avec la comptabilité défaillante de la société. La Cour a jugé que les personnes concernées n'étaient pas les mêmes dans les deux procédures: dans la première, le requérant était concerné à titre personnel, en tant que personne physique, alors que l'autre procédure concernait la société. Les circonstances n'étaient pas non plus les mêmes dans les deux procédures puisque, dans la première, il était question de la déclaration d'impôts personnelle du contribuable, alors que la seconde procédure concernait la déclaration d'impôts de la société (§ 49 à 52 de l'arrêt). La CourEDH est parvenue à la même conclusion de non-violation du principe "ne bis in idem" sur la base d'un raisonnement similaire dans l'arrêt Heinänen c. Finlande du 29 janvier 2015 (requête n° 947/13, cf. § 36-38), qui concernait un contribuable qui s'était vu infliger une majoration d'impôt pour ne pas avoir reporté dans sa déclaration fiscale personnelle des revenus provenant de ses deux sociétés et qui avait aussi été condamné pour fraude fiscale pour avoir, en sa qualité de représentant de ces sociétés, omis d'établir leurs déclarations fiscales.

10.7. En l'espèce, la procédure pour soustraction d'impôt qui a abouti à des amendes par décision du 21 juillet 2014 du Service cantonal a sanctionné le recourant pour avoir soustrait des montants importants à l'impôt sur le revenu durant plusieurs années en omettant de les faire figurer dans sa déclaration fiscale personnelle. La procédure qui a conduit à la condamnation du recourant le 16 juillet 2014 par le Ministère public vaudois pour usage de faux au sens de l'art. 186 LIFD a, quant à elle, uniquement réprimé le fait, pour le recourant, d'avoir transmis ou fait transmettre à l'autorité fiscale des comptes inexacts à l'appui de la déclaration d'impôt de A.X.________ SA en tant que directeur et président du conseil d'administration de cette société (cf. l'extrait de l'ordonnance pénale du Ministère public vaudois, supra consid. B.a.). A la lumière de la jurisprudence précitée de la CEDH, l'on ne se trouve pas dans une situation de deux procédures qui ont réprimé les mêmes faits.

10.8. Dans ces circonstances, le grief de violation de l'art. 4 du Protocole n° 7 à la CEDH doit être rejeté, sans qu'il soit nécessaire d'examiner le volet "bis" du principe "ne bis in idem" invoqué par le recourant.

VII. Conséquences, ainsi que frais et dépens

11.

Il découle des considérants qui précèdent qu'en raison de la prescription, le recours est très partiellement admis en tant qu'il porte sur les amendes fédérale, cantonale et communale de la période fiscale 2003. L'arrêt attaqué est partant réformé en ce sens qu'aucune amende n'est infligée au recourant en lien avec les soustractions d'impôt commises au cours de la période fiscale 2003. Le recours est en revanche rejeté et l'arrêt attaqué confirmé en tant qu'il porte sur les amendes fédérales, cantonales et communales prononcées en lien avec les soustractions d'impôt commises par le recourant durant les périodes fiscales 2004 à 2010.
Le recourant a ainsi très partiellement gain de cause. Il s'ensuit que le canton du Valais, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu, supportera une part des frais de la procédure fédérale (art. 66 al. 1 et 4 LTF), le solde étant à la charge du recourant (art. 66 al. 1 LTF). Celui-ci, qui obtient partiellement gain de cause, a droit à des dépens réduits qui seront supportés par le canton du Valais dans la même mesure (art. 68 al. 1 et 2 LTF). Aucun dépens ne sera alloué à l'autorité intimée (art. 68 al. 3 LTF).
Comme la période fiscale 2003 n'était pas prescrite au moment où la Commission de recours a statué, la prescription de la poursuite pénale pour la période fiscale 2003 n'ayant résulté que d'un changement de législation entré en vigueur le 1er janvier 2017, il n'y a pas lieu de modifier l'arrêt attaqué s'agissant des frais et des dépens (art. 67 et 68 al. 5 LTF.

Par ces motifs, le Tribunal fédéral prononce :

1.

Les causes 2C_12/2017 et 2C_13/2017 sont jointes.

2.

Le recours en matière de droit public est très partiellement admis, en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2003. L'arrêt attaqué est réformé en ce sens que l'amende pour soustraction d'impôt prononcée en lien avec cette période est supprimée. Il est confirmé pour le surplus.

3.

Le recours en matière de droit public est très partiellement admis en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 2003. L'arrêt attaqué est réformé en ce sens que les amendes pour soustraction d'impôt prononcées en lien avec cette période sont supprimées. Il est confirmé pour le surplus.

4.

Les frais judiciaires, arrêtés à 27'000 fr., sont mis à raison de 23'000 fr. à la charge du recourant et de 4'000 fr. à la charge du canton du Valais.

5.

Le canton du Valais versera au recourant une indemnité de dépens réduite fixée à 4'500 francs.

6.

Le présent arrêt est communiqué aux mandataires du recourant, au Département de l'économie, de l'énergie et du territoire du canton du Valais, au Service cantonal des contributions du canton du Valais, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.

Lausanne, le 23 mars 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président : Seiler

La Greffière : Vuadens