Valais tax reassessment partly reduced for double-counted SUVA rentGénéré par IA

{T 0/2}
2C_612/2012
2C_613/2012

Arrêt du 26 février 2013
IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin et Donzallaz.
Greffière: Mme Beti.

Participants à la procédure
X.________,
représenté par Me Aba Neeman, avocat,
recourant,

contre

Service cantonal des contributions du canton
du Valais, section des personnes physiques.

Objet
2C_612/2012
Impôts cantonal et communal 2004,

2C_613/2012
Impôt fédéral direct 2004,

recours contre la décision de la Commission cantonale de recours en matière fiscale du canton du Valais
du 28 mars 2012.

Faits:

A.
X.________, né en 1939 et domicilié à A.________, exploitait en raison individuelle une entreprise de bâtiment et génie civil, activité à laquelle il a mis fin en 2005.
Dans la déclaration relative à la période fiscale 2004, déposée le 1er avril 2005, X.________ a indiqué un montant de CHF 7'080.- au titre de revenu d'une activité indépendante, et de CHF 555.- au titre de gains accessoires dépendants.
Lors de la taxation du 1er février 2006, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a arrêté à CHF 32'080.- le revenu de l'activité indépendante et à CHF 3'400.- les gains accessoires dépendants de X.________.
A la suite de la réclamation du contribuable, le Service cantonal a procédé à un contrôle des comptes de X.________ le 18 septembre 2007. Le rapport d'expertise du 18 juin 2008 proposait d'effectuer les reprises suivantes pour 2004:
Recettes non déclarées 155'000.-
Recettes chantier "xxx" 58'000.-
Part privée aux frais de véhicule 10'000.-
Activité accessoire 2'845.-

B.
Par nouvelle taxation du 12 décembre 2008 relative à l'année 2004, la Commission communale d'impôts a suivi les propositions de l'expert et fixé à CHF 255'080.- le revenu de l'activité indépendante et à CHF 3'400.- les gains accessoires dépendants. Compte tenu des autres revenus et des déductions habituelles, le revenu net imposable s'élevait à respectivement CHF 280'583.- en matière d'ICC et CHF 279'353.- en matière d'IFD.
X.________ a déposé une réclamation contre cette nouvelle taxation. Par décision du 16 mai 2011, la Commission d'impôts des personnes physiques a rejeté la réclamation et confirmé les reprises effectuées.
Le 15 juin 2011, le contribuable a recouru contre cette décision auprès de la Commission cantonale de recours en matière fiscale du canton du Valais (ci-après : la Commission de recours). Par décision du 28 mars 2012, celle-ci a partiellement admis le recours dans le sens des considérants. Elle a retenu un montant de CHF 143'753.10 au titre de reprise relative aux recettes non déclarées, annulé la reprise opérée au titre du chantier "xxx", maintenu les montants de CHF 10'000.- de part privée aux frais de véhicule et de CHF 3'400.- au titre de gains accessoires dépendants et fixé le revenu net imposable de X.________ à CHF 211'336.- en matière d'impôts cantonal et communal (ci-après ICC) pour 2004, et à CHF 210'106.- en matière d'impôt fédéral direct (ci-après : IFD) pour 2004. La Commission de recours a considéré, en substance, que X.________ n'avait fait valoir aucun argument relatif aux frais de véhicule et à ses gains accessoires, et que les travaux relatifs au chantier "xxx" avaient été effectués et facturés en 2002 et 2003. En ce qui concernait les recettes non déclarées, la Commission de recours a relevé que X.________ avait enregistré pour l'exercice 2004 sur son compte privé des entrées pour un montant total de CHF 442'977.-, dont CHF 260'800.- avaient été transférés à son entreprise, et qu'il avait versé à des tiers une somme totale de CHF 38'423.90 pouvant être considérée comme des dépenses commerciales.

C.
Par acte du 22 juin 2012, X.________ dépose un recours en matière de droit public au Tribunal fédéral contre la décision du 28 mars 2012. Il conclut, sous suite de frais et dépens, à l'annulation de la décision précitée et au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et décision dans le sens des considérants.
A titre de moyens de preuve, le recourant requiert la production du dossier de la Commission de recours et fait état de pièces déposées.
La Commission de recours a renoncé à présenter des observations et conclut au rejet du recours. Le Service cantonal se rallie à la décision de la Commission de recours du 28 mars 2012 et propose le rejet du recours. L'Administration fédérale des contributions en fait de même.
Le recourant a déposé d'ultimes observations le 26 novembre 2012.

Considérant en droit:
I. Recevabilité et procédure

1.
La Commission de recours a rendu une seule décision valant pour les deux catégories d'impôts (ICC et IFD), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_613/2012), l'autre l'ICC (2C_612/2012). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).

2.
Le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (cf. art. 82 let. a LTF), par une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF; art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RS-VS 642.1]) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte (cf. aussi art. 73 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]). Le recourant a participé à la procédure devant l'instance précédente, est particulièrement atteint par la décision entreprise en tant que contribuable et a un intérêt digne de protection à son annulation ou à sa modification. Il a ainsi qualité pour recourir (cf. art. 89 al. 1 LTF). Déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2, 45 et art. 100 al. 1 LTF), le recours est en principe recevable.

3.
À titre de mesure probatoire, le recourant requiert la production du dossier de la Commission de recours et fait état de pièces déposées, sans toutefois motiver sa demande ni fournir les pièces annoncées.
La Commission de recours ayant produit son dossier, la requête y relative est sans objet. Il en va de même des pièces annoncées, aucune pièce n'ayant été déposée par le recourant. Au demeurant, les pièces nouvelles sont irrecevables (cf. art. 99 al. 1 LTF).

4.
D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la LHID laissent une marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (cf. ATF 134 II 207 consid. 2 p. 209 s.), dont la violation doit être motivée conformément aux exigences accrues de l'art. 106 al. 2 LTF.

5.
Le recourant remet en question la répartition des frais et dépens effectuée par la Commission de recours. Il estime que, dans la mesure où son recours a été partiellement admis, les frais devaient être répartis proportionnellement et non mis intégralement à sa charge.
Selon une pratique constante, les conclusions portant sur des prestations en argent doivent être chiffrées et libellées de telle manière que l'autorité de recours puisse, s'il y a lieu, les incorporer sans modification au dispositif de sa propre décision (cf. ATF 137 III 617 consid. 4.3 p. 619; arrêt 4A_587/2012 du 9 janvier 2013 consid. 2). Il en va de même, en procédure de recours, en ce qui concerne le conclusions portant sur la répartition des frais et dépens de l'instance précédente (cf. arrêts 1C_399/2012 du 28 novembre 2012 consid. 4.2.1; 4A_225/2011 du 15 juillet 2011 consid. 2.6.2; 5A_34/2009 du 26 mai 2009 consid. 11.3, non publié aux ATF 135 III 513). En effet, lorsque des sommes d'argent sont en jeu, les conclusions chiffrées déterminent l'objet du litige et définissent les limites de la compétence de l'autorité de recours lorsque celle-ci peut réformer l'arrêt attaqué et est liée par les conclusions des parties. Or, tel est le cas du Tribunal fédéral (cf. art. 107 al. 1 et 2 LTF).
Les conclusions du recourant relatives à la répartition des frais et dépens effectuée par la Commission de recours n'étant pas chiffrées, elles sont par conséquent irrecevables.
II. Faits pertinents

6.
6.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (cf. pour cette notion ATF 136 III 552 consid. 4.2 p. 560; arrêt 2C_122/2012 du 1er novembre 2012 consid. 3.1) - ou en violation du droit (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF137 II 353 consid. 5.1 p. 356).

6.2 Le recourant fait remarquer qu'une entrée mensuelle de CHF 483.-, soit un total de CHF 5'796.- sur un an, correspond à une rente et que celle-ci a déjà été dûment prise en compte dans la décision de taxation du 12 décembre 2008, de sorte que c'est à tort que la Commission de recours l'a incluse dans le revenu de son activité indépendante.
Sur le vu du dossier, ce reproche est justifié. Le procès-verbal de taxation du 12 décembre 2008 comprend en effet, outre le revenu de l'activité indépendante et les gains accessoires d'une activité dépendante, un montant de CHF 5'796.- au titre de rentes et pensions, pour laquelle le recourant avait produit une attestation certifiant qu'il s'agissait d'une rente d'invalidité pour accident professionnel versée par la Suva. Or, selon le relevé de compte bancaire produit en procédure cantonale sur lequel la Commission de recours s'est fondée pour déterminer le revenu de l'activité indépendante du recourant, c'est bien de la Suva que proviennent les versements mensuels de CHF 483.-. En considérant ces montants comme faisant partie du revenu de l'activité indépendante du recourant et en les ajoutant au revenu déjà pris en compte dans la décision de taxation du 12 décembre 2008, l'instance précédente les a par conséquent comptés à double, de sorte que la conclusion du recourant s'impose. La Cour de céans déduira donc le montant de CHF 5'796.- du revenu provenant de l'activité lucrative indépendante du recourant.

6.3 Le recourant fait également valoir, de manière générale, que la Commission de recours a considéré comme un revenu de l'activité indépendante l'intégralité des entrées sur son compte personnel sans procéder à un examen, au moins sommaire, de chaque entrée afin d'en déterminer la nature. Le recourant s'en prend ensuite à différentes entrées déterminées sur son compte personnel pour lesquelles la Commission de recours aurait admis à tort qu'il s'agissait d'un revenu de l'activité indépendante. Il reproche ainsi à l'autorité précédente d'avoir pris en compte au titre de revenu d'une activité indépendante des versements provenant de l'assurance B.________ AG pour une somme de CHF 1'228.05. Il remet aussi en question le fait que la Commission de recours a considéré comme revenu d'une activité lucrative indépendante la somme de CHF 8'474.90 libellée "PMT DTA Arbeitslosenkasse C.________". En sus de ses critiques quant aux éléments de revenu pris en compte, le recourant reproche également à l'autorité précédente d'avoir refusé de déduire certaines charges. Il relève ainsi que les primes d'assurance des véhicules, soit CHF 1'812.- et CHF 2'516.60 devaient être considérées comme des charges liées à l'activité lucrative dans la mesure où la Commission de recours a retenu que les véhicules utilisés par le recourant relevaient de son entreprise, ce qui justifiait de retenir au titre de revenu une part privée aux frais desdits véhicules. Il apporte la même critique au montant de CHF 500.- pour son assurance responsabilité civile qui, au vu de son montant, devait être considéré comme une charge professionnelle. Le recourant est par ailleurs d'avis que la Commission de recours, à partir du moment où elle a admis que les travaux relatifs au chantier "xxx" avaient été effectués et facturés en 2002 et 2003 et ne devaient être pris en compte au titre de revenu pour la période fiscale 2004, il lui incombait d'examiner les conséquences de cette décision sur le montant retenu au titre de l'activité lucrative indépendante par le Service cantonal, puisqu'une partie du montant relatif au chantier "xxx" avait été comptabilisée en chiffre d'affaires dans les comptes commerciaux qui ont servi de base à la taxation du 1er février 2006.
En ce qui concerne ces critiques du recourant, force est de constater que, sous couvert d'établissement des faits, elles se rapportent en réalité à l'application du droit par l'instance précédente, puisqu'elles portent sur la méthode d'établissement du revenu de son activité indépendante et son application, ainsi que sur l'appréciation juridique des faits pertinents. Elles seront par conséquent examinées ci-après (cf. infra consid. 7).
Dans ces conditions, la Cour de céans rendra son arrêt en se basant sur les faits tels qu'ils ressortent de la décision attaquée, sous réserve du montant de la rente de la Suva compté à double (cf. supra consid. 6.2).
III. Impôt fédéral direct

7.
7.1 D'après l'art. 123 al. 1 LIFD, les autorités de taxation établissent les éléments de fait et de droit permettant une taxation complète et exacte, en collaboration avec le contribuable. Dans la procédure de recours, l'autorité cantonale de recours a les mêmes compétences que l'autorité de taxation (art. 142 al. 4 LIFD).
La maxime d'office est ainsi applicable à la détermination de la dette fiscale, de sorte que les autorités compétentes peuvent entreprendre toutes les investigations nécessaires à la détermination de l'impôt. Dans ce domaine, les règles générales relatives au fardeau de la preuve impliquent que l'autorité fiscale établisse les faits qui justifient l'assujettissement et qui augmentent la taxation, tandis que le contribuable doit prouver les faits qui diminuent la dette ou la suppriment. Il incombe ainsi à l'autorité fiscale d'apporter la preuve de l'existence d'éléments imposables qui n'ont pas été annoncés. Si les preuves recueillies par l'autorité fiscale fournissent suffisamment d'indices révélant l'existence d'éléments imposables, il appartient à nouveau au contribuable d'établir l'exactitude de ses allégations et de supporter le fardeau de la preuve du fait qui justifie son exonération (cf. ATF 121 II 257 consid. 4c/aa p. 266; arrêt 2C_132/2010 du 17 août 2010 consid. 3.2). Il en va de même lorsque la présentation des faits par l'autorité est vraisemblable selon l'expérience de la vie. Dans ces situations, le fardeau de la preuve des allégations contraires à celles de l'administration repose alors sur le contribuable (cf. arrêt 2C_199/2009 du 14 septembre 2009 consid. 3.1).

7.2 Le recourant se plaint d'une violation de l'art. 18 LIFD, certains éléments de son relevé de compte bancaire ayant été schématiquement considérés comme des revenus sans que cela ne se justifie.
7.2.1 Aux termes de l'art. 18 al. 1 LIFD, sont imposables tous les revenus provenant de l'exploitation d'une entreprise commerciale, industrielle, artisanale, agricole ou sylvicole, de l'exercice d'une profession libérale ou de toute autre activité lucrative indépendante. Selon l'art. 58 al. 2 LIFD, applicable par renvoi de l'art. 18 al. 3 LIFD, le bénéfice net imposable est déterminé d'après l'art. 58 al. 1 LIFD, à savoir qu'il comprend le solde du compte de résultats (let. a), tous les prélèvements opérés sur le résultat commercial avant le calcul du solde du compte de résultat, qui ne servent pas à couvrir des dépenses justifiées par l'usage commercial (let. b), et les produits qui n'ont pas été comptabilisés dans le compte de résultats (let. c).
Il ressort des art. 57 et 58 LIFD que le droit fiscal renvoie au droit comptable pour déterminer le bénéfice net imposable, tout en tempérant ce renvoi par l'existence de règles correctrices propres au droit fiscal. En d'autres termes, les comptes établis conformément aux règles du droit comptable lient les autorités fiscales à moins que le droit fiscal ne prévoie des règles correctrices particulières (ATF 136 II 88 consid. 3.1 p. 92). L'autorité du bilan commercial tombe en revanche lorsque des normes impératives du droit commercial sont violées ou que des normes fiscales correctrices l'exigent. Parmi les principes régissant l'établissement régulier des comptes figure l'exigence de clarté qui est concrétisée par l'interdiction de compensation entre actifs et passifs ainsi qu'entre charges et produits (cf. arrêt 2C_71/2009 du 10 juin 2009 consid. 7.1).
7.2.2 En l'espèce, le recourant avait déclaré, le 1er avril 2005, sur la base du compte d'exploitation de son entreprise individuelle, un revenu de CHF 7'080.- correspondant à son bénéfice net. Ayant retenu, sans être contredite sur ce point, que le recourant avait encaissé différents versements en faveur de son entreprise sur un compte personnel, qu'il avait reversé une partie de ces montants sur le compte bancaire de son entreprise, et qu'il avait acquitté différentes dépenses commerciales à partir de ce compte personnel, la Commission de recours a considéré l'ensemble des entrées sur ce compte, soit CHF 442'977.-, comme des revenus de l'activité d'indépendant du recourant. Elle en a toutefois déduit la somme de CHF 260'800.- transférée sur les comptes de l'entreprise ainsi qu'un montant de CHF 38'423.90 correspondant à des versement à des tiers dont il était à tout le moins plausible qu'ils concernaient l'entreprise. Le solde, soit CHF 143'753.10, a été considéré comme revenu provenant de l'activité indépendante du contribuable.
Le recourant ayant admis avoir encaissé des versements en faveur de son entreprise sur un compte personnel et avoir utilisé ce compte pour acquitter des dépenses commerciales, les comptes de son entreprise ne revêtent plus l'autorité que leur confère en principe l'art. 58 LIFD. L'instance précédente pouvait donc considérer, sans violer l'art. 58 LIFD, que les fonds versés sur le compte personnel du recourant relevaient en principe de son activité professionnelle indépendante.
7.2.3 Au vu de ce qui précède, et en application des règles sur le fardeau de la preuve (cf. supra consid. 7.1), il appartenait par conséquent au recourant de démontrer quels montants lui avaient été remis à titre personnel, sans lien avec son activité lucrative indépendante. Or, à l'exception de ce qui concerne la rente Suva (cf. supra consid. 6.2), le recourant n'a pas apporté cette preuve. Il n'a ainsi pas produit, en procédure cantonale, de documents susceptibles d'attester que les versements effectués par l'assurance B.________ AG pour une somme totale de CHF 1'228.05 correspondaient bien à des remboursements de prestations médicales personnelles. Des remboursements d'une assurance pouvant également se rapporter à des contrats conclus par l'employeur en faveur de ses employés, il appartenait au recourant d'apporter la preuve qu'ils le concernaient à titre personnel, ce qu'il n'a pas fait. De même, le recourant n'a apporté aucune précision et n'a produit aucun document en procédure cantonale relatifs à la somme de CHF 8'474.90 libellée "PMT DTA Arbeitslosenkasse C.________". S'agissant d'un versement provenant de la caisse de chômage C.________, il est plus que probable qu'il concerne l'entreprise du recourant et, par conséquent, qu'il se rapporte à son activité lucrative indépendante. On ne saurait donc considérer que la Commission de recours a, sur ce point, mal appliqué les règles pertinentes en maintenant ces montants dans les revenus professionnels du recourant.

7.3 Le recourant se prévaut également d'une mauvaise application de l'art. 27 al. 1 LIFD, certaines charges invoquées en déduction n'ayant pas été admises.
7.3.1 Aux termes de l'art. 27 al. 1 LIFD, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel. D'une manière générale, seront admises en déduction toutes les dépenses en relation avec l'activité professionnelle, en particulier les salaires, les primes d'assurances professionnelles, les frais de transport (cf. XAVIER OBERSON, Droit fiscal suisse, 4e éd. 2012, p. 172 n° 275).
La possibilité de déduire ces frais est conditionnée à la preuve de leur nécessité au regard de l'activité poursuivie. A cet égard, le renvoi du législateur à l'usage, commercial ou professionnel, donne à l'autorité de taxation un pouvoir d'appréciation important, renforcé par le fait qu'elle ne supporte pas le fardeau de la preuve du refus de déduction. La distinction entre frais professionnels, déductibles, et frais privés, non déductibles, peut être délicate chez l'indépendant. L'autorité de taxation doit notamment apprécier le caractère professionnellement usuel de la dépense (cf. arrêt 2C_132/2010 du 17 août 2010 consid. 3.2 et les références citées).
7.3.2 En l'espèce, le recourant allègue que les primes d'assurance de CHF 500.- pour la responsabilité civile, ainsi que de CHF 1'812.- et de CHF 2'516.50 pour les véhicules, acquittées par le biais de son compte personnel, étaient liées à son activité professionnelle. Il se prévaut du fait qu'il roulait avec le véhicule de l'entreprise, ce qui a par ailleurs amené l'Administration cantonale à faire une reprise de CHF 10'000.- au titre de part privée aux frais de véhicule, de sorte que les primes d'assurance ne pouvaient concerner que les véhicules de l'entreprise. A son avis, il en va de même de la prime d'assurance responsabilité civile qui, en raison de son montant, ne pouvait se rapporter qu'à son activité professionnelle.
Les relevés de compte figurant dans le dossier cantonal ne permettent pas d'établir à quel titre les primes d'assurance précitées ont été versées. Le recourant n'a en particulier pas produit les décomptes de primes ou les contrats d'assurance. Force est par conséquent de retenir que le recourant n'a pas fourni les éléments permettant d'établir qu'il s'agissait bien de charges commerciales, de sorte qu'on ne saurait faire grief à la Commission de recours d'en avoir refusé la déduction.

7.4 Le recourant estime par ailleurs que l'instance précédente a violé l'art. 40 al. 1 LIFD en n'examinant pas si une partie du montant relatif au chantier "xxx" avait été comptabilisée en chiffre d'affaires dans les comptes de l'année 2004.
7.4.1 En ce qui concerne la périodicité de l'impôt et l'étanchéité des périodes fiscales, le canton du Valais applique depuis le 1er janvier 2003 l'art. 41 LIFD (cf. MARC BUGNON, in YERSIN/NOËL (ÉD.), Commentaire romand de la LIFD, n° 8 ad art. 41 LIFD), qui permet aux cantons de fixer pour l'imposition dans le temps une période fiscale annuelle correspondant à une année civile; dans ce cas, ils prendront comme base de calcul cette même année civile. Sont valables alors les dispositions prévues aux art. 208 à 220 des dispositions transitoires de la LIFD. Selon l'art. 209 al. 1 LIFD, l'impôt sur le revenu est fixé et prélevé pour chaque période fiscale. Celle-ci correspond à l'année civile (art. 209 al. 2 LIFD). Enfin, le revenu imposable se détermine d'après les revenus acquis pendant la période fiscale et le produit de l'activité lucrative indépendante se détermine d'après le résultat de l'exercice commercial clos pendant la période fiscale (art. 210 al. 1 et 2 LIFD).
7.4.2 En l'espèce, le recourant admet lui-même que l'instance précédente a correctement appliqué les principes de la périodicité de l'impôt et de l'étanchéité des périodes fiscales concrétisés par les dispositions précitées en retenant que les revenus liés au chantier "xxx" ne concernaient pas la période fiscale 2004, puisque les travaux avaient été exécutés et facturés en 2002 et 2003. Il estime en revanche que la Commission de recours devait approfondir la question de savoir si une partie du montant relatif au chantier "xxx" avait été comptabilisée en chiffre d'affaires dans les comptes de l'année 2004, et, le cas échéant, modifier le montant qu'il avait déclaré sur la base de son compte d'exploitation.
Or, le recourant n'a pas détaillé en procédure cantonale le poste de "vente de travaux", d'un montant de CHF 830'295.80, qui figure dans le compte d'exploitation 2004 de son entreprise et sur la base duquel il a déclaré un bénéfice net de CHF 7'080.-. Il n'était par conséquent pas possible, pour la Commission de recours, de savoir à quels chantiers ces travaux se rapportaient ni de vérifier qu'ils avaient bien été facturés en 2004. Dans ces conditions, on ne peut reprocher à l'instance précédente une mauvaise application du droit, puisque le recourant n'avait ni allégué ni prouvé qu'il pouvait s'agir de revenus réalisés au cours d'une autre période que celle sur laquelle portait le compte d'exploitation figurant au dossier.

7.5 Au vu de ce qui précède, et sous réserve du montant de la rente de la Suva pris en considération à double (cf. supra consid. 6.2), le recours doit être rejeté en tant qu'il critique l'établissement du revenu net imposable pour la période fiscale 2004.
Dans ces conditions, en ce qui concerne l'IFD pour la période fiscale 2004, le recours doit être partiellement admis dans la mesure où il est recevable. L'arrêt attaqué sera partiellement annulé en tant qu'il fixe le revenu net imposable du recourant à CHF 210'106.-. Pour l'IFD, le revenu net imposable du recourant sera fixé à CHF 204'310.-, soit CHF 210'106.- moins CHF 5'796.- (cf. supra consid. 6.2).
IV. Impôts cantonal et communal

8.
La maxime d'office régissant la détermination de la dette fiscale est également applicable aux impôts cantonal et communal (cf. art. 46 LHID). Quant à la loi fiscale cantonale, elle attribue à la Commission de recours un pouvoir d'examen illimité en fait et en droit et lui permet d'ordonner d'office toutes les mesures nécessaires dans le cadre de l'instruction (art. 151bis al. 1 et 2 LF/VS). Le recourant fonde d'ailleurs son recours en matière de droit public concernant l'ICC sur les mêmes motifs que ceux invoqués pour l'IFD. En outre, les notions de revenu, de charges justifiées par l'usage commercial et de bénéfice net imposable des art. 18, 27 al. 1 et art. 58 al. 2 LIFD sont les mêmes que celles figurant aux art. 7, 8 et 10 LHID et aux art. 12 al. 1, 14, 23 et 81 LF/VS. Les principes développés ci-devant en matière d'IFD sont dès lors applicables à l'ICC (cf. arrêt 2C_199/2009 du 14 septembre 2009 consid. II). Il en va de même en ce qui concerne les notions de périodicité de l'impôt et d'étanchéité des périodes fiscales, celles des art. 40, 41, 209 al. 2 et 210 LIFD étant identiques à celles prévues aux art. 15, 16, 63 et 64 LHID et aux art. 61 et 62 LF/VS. Partant, les considérations développées pour l'IFD trouvent à s'appliquer à l'ICC relatif à la période fiscale sous examen (cf. arrêt 2C_123/2012 du 8 août 102 consid. 10 et les références citées). Il suffit donc de renvoyer, s'agissant de l'ICC, aux considérants relatifs à l'IFD.
En ce qui concerne l'ICC pour la période fiscale 2004, le recours doit donc être partiellement admis dans la mesure où il est recevable. L'arrêt attaqué sera partiellement annulé en tant qu'il fixe le revenu net imposable du recourant à CHF 211'336.-. Pour l'ICC, le revenu net imposable du recourant sera fixé à CHF 205'540.-, soit CHF 211'336.- moins CHF 5'796.- (cf. supra consid. 6.2).
V. Frais et dépens

9.
Le recourant a obtenu gain de cause sur la question de la double prise en compte de sa rente de la Suva (cf. supra consid. 6.2); pour le surplus, son recours a été rejeté dans la mesure de sa recevabilité (cf. supra consid. 7.5 et 8). Son revenu net imposable a été fixé à CHF 205'540.- pour les impôts cantonal et communal et à CHF 204'310.- pour l'impôt fédéral direct, au lieu de respectivement CHF 211'336.- et CHF 210'106.-. Au vu de cette issue, il s'agit d'un cas limite de répartition des frais judiciaires et d'allocation de dépens. Les frais judiciaires seront dès lors mis à la charge du recourant à raison des neuf dixièmes (art. 66 al. 1 et 3 LTF). Le canton du Valais, dont l'intérêt pécuniaire est en cause (cf. arrêt 2C_482/2011 du 25 juillet 2012 consid. 6 non publié aux ATF 138 I 297), supportera un dixième des frais judiciaires (art. 66 al. 4 LTF), et versera une indemnité réduite à titre de dépens au recourant (art. 68 al. 1 LTF). Le canton du Valais ne peut prétendre à des dépens (art. 68 al. 3 LTF).
Compte tenu de la faible incidence du présent arrêt sur la fixation du revenu net imposable du recourant, le Tribunal fédéral ne modifiera pas la répartition des frais et dépens effectuée par la Commission de recours (cf. art. 67 et 68 al. 5 LTF), le grief du recourant concernant ceux-ci étant par ailleurs irrecevable (cf. supra consid. 5).

Par ces motifs, le Tribunal fédéral prononce:

1.
Les causes 2C_612/2012 et 2C_613/2012 sont jointes.

2.
En ce qui concerne l'impôt fédéral direct pour 2004, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est partiellement annulé en tant qu'il fixe le revenu net imposable du recourant à CHF 210'106.-. Le revenu net imposable du recourant est fixé à CHF 204'310.-.

3.
En ce qui concerne les impôts cantonal et communal pour 2004, le recours est partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est partiellement annulé en tant qu'il fixe le revenu net imposable du recourant à CHF 211'336.-. Le revenu net imposable du recourant est fixé à CHF 205'540.-.

4.
Les frais judiciaires, fixés à CHF 3'000.-, sont mis à la charge du recourant à raison de CHF 2'700.- et du canton du Valais à raison de CHF 300.-.

5.
Le canton du Valais versera au recourant une indemnité réduite de CHF 400.- à titre de dépens.

6.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des contributions du canton du Valais, section des personnes physiques, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.

Lausanne, le 26 février 2013

Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président: Zünd

La Greffière: Beti