2C_436/2010

2C_436/2010
{T 0/2}

Arrêt du 16 septembre 2010
IIe Cour de droit public

Composition
MM. et Mme les Juges Zünd, Président,
Aubry Girardin et Stadelmann.
Greffière: Mme Rochat.

Participants à la procédure
X.________, recourant,

contre

Administration cantonale des impôts du canton de Vaud, route de Berne 46, 1014 Lausanne.

Objet
Impôts cantonal et communal et impôt fédéral direct 2003,

recours contre l'arrêt du Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, du 14 avril 2010.

Faits:

A.
De 1986 à 2006, X.________ a vécu avec sa compagne Y.________ et leur fille A.________, née en 1990. Il est père de deux autres enfants, B.________ et C.________, nés d'une précédente union respectivement en 1977 et 1979.

En 2003, X.________ a travaillé comme employé architecte et a perçu un salaire de 48'000 fr. Il a déclaré avoir versé une contribution de 700 fr. par mois pour son fils aîné, étudiant en architecture à Genève, qui avait un domicile séparé à Lausanne, de même que pour sa fille aînée, C.________, étudiante aux Beaux-Arts, à Aix-en-Provence, mais légalement domiciliée chez sa mère, à Lausanne. Il a également prétendu avoir versé le même montant mensuel de 700 fr. pour sa fille A.________, conformément à la convention d'entretien du 27 septembre 1990 passée avec la mère. Dans sa déclaration d'impôt pour la période fiscale 2003, il a déclaré un revenu imposable de 2'300 fr. au taux de 1'500 fr. (quotient 1,5) et une fortune imposable nulle.

B.
Le 17 octobre 2004, X.________ a déposé une réclamation contre la décision de taxation du 28 septembre 2004 en matière d'impôts cantonal et communal, ainsi que la notification du 12 octobre 2004 pour l'impôt fédéral direct. Il a maintenu cette réclamation à la suite de la nouvelle détermination des éléments imposables de l'autorité de taxation du 4 mars 2005, reprise par l'Administration cantonale des impôts du canton de Vaud le 15 mars 2007. X.________ s'opposait à ce que soit ajouté à son revenu le montant des allocations familiales perçues et la pension alimentaire versée à sa fille C.________.

Après un nouvel échange de correspondances, l'Administration cantonale des impôts a, par décision du 23 février 2009, admis partiellement la réclamation du 17 octobre 2004 pour la période fiscale 2003 et fixé le revenu imposable en matière d'impôts cantonal et communal à 22'000 fr. au taux de 12'600 fr. (quotient 1,75), la fortune imposable étant nulle, et le revenu imposable en matière d'impôt fédéral direct à 27'700 fr. (barème célibataire).

C.
X.________ a recouru contre cette décision auprès du Tribunal cantonal vaudois (Cour de droit administratif et public), en concluant à sa réforme sur plusieurs points. Il contestait tout d'abord l'application à son cas du règlement du Conseil d'Etat du 11 janvier 2006 remplaçant provisoirement le règlement du 11 décembre 2000 sur l'imposition de la famille (RIFam; RSVD 642.11.3), qui n'était pas en vigueur en 2003. Il démontrait ensuite que les allocations familiales perçues pour ses filles C.________ et A.________ s'élevaient respectivement à 210 fr. et 160 fr. par mois, soit à 4'400 fr. au total par an, et non à 4'950 fr. comme retenu à tort par l'autorité fiscale. Il s'opposait aussi à ce que ces allocations familiales soient ajoutées à son revenu et demandait à ce que soit déduite de son revenu la pension alimentaire de 700 fr. par mois, soit 8'400 fr. en 2003, qu'il disait avoir versée pour sa fille A.________, en application d'une convention d'entretien du 27 septembre 1990.

Par arrêt du 14 avril 2010, le Tribunal cantonal a admis très partiellement le recours et a réformé la décision attaquée en ce sens que le montant imposable au titre des allocations familiales devait être réduit à 4'400 fr. Partant, il a arrêté le revenu imposable du recourant à 21'000 fr. au taux de 12'500 fr. (quotient 1.75) pour les impôts cantonal et communal et à 27'500 fr. (barème célibataire) pour l'impôt fédéral direct.

D.
X.________ recourt auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 14 avril 2010 et conclut à son annulation, sous suite de frais, ainsi qu'à l'admission de ses conclusions (points 1 à 7) figurant dans son recours adressé au Tribunal cantonal le 26 mars 2010.

Le Tribunal cantonal se réfère à son arrêt et conclut au rejet du recours. L'Administration cantonale des impôts a déposé des observations au terme desquelles elle conclut au rejet du recours dans la mesure où il est recevable. L'Administration fédérale des contributions conclut au rejet du recours quant au fond, sous suite de frais.

Le 2 septembre 2010, le recourant a fait parvenir au Tribunal fédéral une correspondance précisant certains points en relation avec la mère de sa fille A.________ et accompagnée des règlements cantonaux sur l'imposition de la famille des 11 décembre 2000 et 11 janvier 2006.

Considérant en droit:

1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (ATF 136 I 43 consid. 1 p. 43; 136 II 101 consid. 1 p. 103).

1.1 Le recourant n'a pas indiqué par quelle voie de droit il entendait agir devant le Tribunal fédéral. Cette imprécision ne saurait toutefois lui nuire si son recours remplit les exigences légales de la voie de droit qui lui est ouverte (ATF 134 III 379 consid. 1.2 p. 383; 133 I 300 consid. 2.1 p. 302 ss).

1.2 Le litige concerne tant les impôts cantonal et communal que l'impôt fédéral direct pour la période fiscale 2003. Dans les deux cas, le recours est dirigé contre une décision finale (art. 90 LTF) rendue dans une cause de droit public (art. 82 lettre a LTF), par une autorité cantonale de dernière instance (art. 86 al. 1 lettre d LTF). Déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF), par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (art. 89 al. 1 LTF), le présent recours est donc en principe recevable comme recours en matière de droit public contre ces deux catégories d'impôts (voir art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14 et ATF 134 II 186 consid. 1.3 p. 188/189), sous les réserves qui suivent.

1.3 Le recourant conclut à l'annulation de l'arrêt du Tribunal cantonal du 14 avril 2010, tout en renvoyant aux sept conclusions prises devant cette instance. Ce renvoi n'est pas admissible en tant que tel au regard de l'art. 42 al. 1 LTF. Le recours est néanmoins recevable, dès lors qu'en matière de droit public, des conclusions purement cassatoires suffisent (ATF 133 II 409 consid. 1.4 p. 414/415).

1.4 Produites en dehors du délai de recours (art. 100 al. 1 LTF), sans qu'un échange ultérieur d'écritures ait été ordonné (art. 103 al. 3 LTF), la correspondance du recourant du 2 septembre 2010 et ses annexes sont irrecevables.

1.5 En outre, les inégalités fiscales entre parents vivant sous le même toit alléguées par le recourant ne peuvent être examinées que par rapport aux points déjà litigieux devant le Tribunal cantonal, à savoir l'application du règlement cantonal entré en vigueur le 1er janvier 2006, l'adjonction au revenu imposable du recourant des allocations familiales perçues en 2003 pour les filles C.________ et A.________, ainsi que la déduction de la pension alimentaire pour A.________ fixée dans la convention du 27 septembre 1990 à 700 fr. par mois, soit 8'400 fr. en 2003.

2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine que les griefs invoqués, sauf en présence de violations de droit évidentes (ATF 133 II 249 consid. 1.4.1 p. 254). Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400). En outre, le Tribunal fédéral ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief invoqué et motivé de façon détaillée (art. 106 al. 2 LTF; ATF 134 I 83 consid. 3.2 p. 88; 134 II 244 consid. 2.2 p. 246; 133 II 249 consid. 1.4.2 p. 254).

3.
Le recourant fait valoir en premier lieu que la longueur de la procédure lui aurait causé préjudice, puisqu'elle aurait permis aux autorités de lui appliquer le nouveau règlement du Conseil d'Etat du 11 janvier 2006. Dès lors que le recourant n'invoque la violation d'aucun principe juridique en relation avec ce grief, pas plus qu'il n'indique en quoi consisterait son préjudice, un tel grief, insuffisamment motivé (art. 42 al. 2 et 106 al. 2 LTF), n'est pas recevable. Au surplus, la critique liée à l'application du nouveau règlement se confond avec le grief d'inégalité de traitement et celui issu de l'interdiction de la rétroactivité, examinés ci-après.

4.
Le recourant se plaint de plusieurs inégalités de traitement, en premier lieu par rapport aux contribuables taxés pour l'année fiscale 2003 selon l'ancien règlement sur l'imposition de la famille, alors que son cas a été jugé selon le règlement du 11 janvier 2006, entré en vigueur le 1er janvier 2006.

4.1 En matière fiscale, l'art. 8 al. 1 Cst. est concrétisé par les principes de la généralité et de l'égalité de l'imposition ainsi que par celui de l'imposition selon la capacité économique. Le principe de la généralité de l'impôt exige que toute personne ou groupe de personnes soit imposé selon la même réglementation juridique: les exceptions qui ne reposent sur aucun motif objectif sont inadmissibles. D'après le principe d'imposition selon la capacité économique de l'art. 127 al. 2 Cst., toute personne doit contribuer à la couverture des dépenses publiques, compte tenu de sa situation personnelle et en proportion de ses moyens; la charge fiscale doit être adaptée à la substance économique à la disposition du contribuable (ATF 133 I 206 consid. 6 et 7 p. 215 ss; 99 Ia 638 consid. 9 p. 652 ss).

4.2 En l'espèce, le recourant ne dit pas quelles dispositions du règlement du 11 janvier 2006 créeraient une inégalité de traitement par rapport aux contribuables taxés en 2003 selon les règles alors en vigueur et n'explique pas davantage en quoi consisterait cette prétendue inégalité. Il paraît donc douteux que son grief soit recevable au regard des exigences de motivation de l'art. 106 al. 2 LTF. Au demeurant, la seule disposition qui a été appliquée au cas du recourant est l'art. 13 RIFam prévu pour le cas des parents non mariés vivant en ménage commun et n'exerçant pas conjointement l'autorité parentale sur leur enfant mineur dont ils assument l'entretien. Cette disposition prescrit que "la part du quotient de 0,5 est octroyé au parent détenant l'autorité parentale, sauf si ce dernier demande à ce que l'autre parent en bénéficie, pour autant que sa contribution financière à l'entretien de l'enfant soit plus élevée". Or une telle répartition était déjà prévue dans l'ancien art. 13 RIFam, de sorte que le recourant n'a nullement été prétérité par l'application du nouveau droit. Il faut en effet relever que, déjà dans son recours auprès du Tribunal cantonal, le recourant avait renoncé au quotient familial concernant sa fille A.________ (conclusion no 4) et qu'il n'a donc pas été touché par la modification en faveur des concubins de l'art. 15 RIFam prévoyant que la part de quotient de 1,8 est octroyée au parent qui a droit à la part de quotient 0,5.

4.3 Il est vrai que le recourant invoque aussi dans ce contexte une violation du principe de la non-rétroactivité des lois.

Liée aux principes de sécurité du droit et de prévisibilité, l'interdiction de la rétroactivité des lois (fiscales) résulte du droit à l'égalité de l'art. 8 Cst., de l'interdiction de l'arbitraire et de la protection de la bonne foi garanties par l'art. 9 Cst. (arrêts 2C_797/2009 du 20 juillet 2010, consid. 4.1, 2P.194/2005 du 8 février 2006, consid. 3.1 et les références citées). L'interdiction de la rétroactivité des lois (fiscales) fait donc en principe obstacle à l'application d'une norme à des faits entièrement révolus avant son entrée en vigueur (ATF 104 Ib 205 consid. 6 p. 219; 102 Ia 31 consid. 3a p. 32 s.).

En revanche, une nouvelle jurisprudence est en principe applicable à toutes les procédures pendantes qui ne sont pas encore entrées en force au moment du changement de pratique (arrêt 2A.471/2005 du 10 novembre 2006 in StE 2007 B 24.4, consid. 3.7 et la référence à l'ATF 111 V 161 consid. 5b p. 170).

En l'espèce, la juridiction cantonale a clairement expliqué que le RIFam avait été modifié à la suite de la jurisprudence du Tribunal fédéral imposant aux cantons d'accorder la même déduction tarifaire aux couples de concubins avec enfants qu'aux couples mariés (ATF 131 I 697 ss et 131 I 710 ss); elle en a déduit que cette jurisprudence avait été appliquée à juste titre aux affaires pendantes. Dès lors que le RIFam ne fait que concrétiser la nouvelle pratique, les critiques du recourant liées à la rétroactivité sont sans fondement, cela d'autant plus que, comme on l'a vu, la nouvelle réglementation ne lui est pas défavorable.

5.
Le recourant considère que le fait d'ajouter à son revenu imposable les allocations familiales perçues pour ses filles C.________ et A.________ crée une inégalité fiscale.

5.1 Dans le premier cas, il relève que sa fille C.________, âgée de 24 ans en 2003, étudiait à Aix-en-Provence et avait gardé son domicile chez sa mère en Suisse. La caisse de compensation lui versait directement les allocations familiales et lui-même lui payait une pension qu'il ne pouvait pas déduire fiscalement. Il en conclut qu'ajouter les allocations familiales à son revenu et ne lui accorder aucune déduction relative à la charge de cette enfant, tout en l'accordant à la mère, crée une inégalité fiscale.
5.1.1 L'imposition de tous les revenus provenant d'une activité exercée dans le cadre d'un rapport de travail, y compris les revenus accessoires tels que les allocations, est prévue, tant par l'art. 17 al. 1 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 (LIFD; RS 642.11), que par l'art. 20 al. 1 de la loi vaudoise sur les impôts directs cantonaux du 4 juillet 2000 (LI; RSVD 642.11). En l'espèce, le recourant a touché des allocations familiales de son employeur, ou de la caisse de compensation compétente, pour sa fille C.________ et doit dès lors être considéré comme le titulaire du droit à ces allocations, même s'il ne pouvait pas en disposer lui-même et devait les affecter à l'entretien de sa fille en vertu de l'obligation légale qui lui incombait (cf. art. 277 al. 2 CC). Peu importe à cet égard que les allocations familiales soient versées au titulaire du droit aux allocations qui, après les avoir touchées, les rétrocède à son ex-conjoint (voir arrêt 2A.224/1989 du 6 avril 1990, consid. 3b, publié notamment in RDAF 1992 p. 260 ss) ou que, comme en l'espèce, elles soient versées directement à l'enfant majeure. Ce qui est déterminant, c'est que le recourant a obtenu, en raison de son travail, une prestation qui a servi à s'acquitter de son obligation d'entretien envers sa fille C.________, prestation qui doit s'ajouter à son revenu imposable en matière d'impôt fédéral direct, comme en matière d'impôts cantonal et communal, conformément aux art. 17 al. 1 LIFD et 20 al. 1 LI.
5.1.2 En ce qui concerne plus précisément l'inégalité de traitement alléguée par rapport à l'ex-conjointe du recourant, il faut tout d'abord relever que la situation des enfants (majeurs) en apprentissage ou aux études de parents taxés séparément n'est pas comparable à celle d'enfants mineurs, du moment que les pensions alimentaires versées aux premiers à titre d'aliments sont exonérées (cf art. 24 let. e LIFD et 28 al. 1 let. f LI) et qu'à l'inverse de celles versées pour les enfants mineurs, elles ne sont pas déductibles du revenu imposable du parent qui les verse (ATF 133 II 305, consid. 9.2 p. 320). Pour l'impôt fédéral direct, cette situation n'exclut pas que le père d'un enfant, qui n'a pas pu déduire de son revenu imposable les contributions d'entretien versées pour cet enfant (art. 33 al. 1er let. c LIFD a contrario), puisse se prévaloir de la déduction pour personne nécessiteuse de l'art. 213 al. 1 let. b LIFD, même si la mère a obtenu la déduction pour enfant prévue à l'art. 213 al. 1 let. a LIFD. Le Tribunal fédéral a en effet jugé qu'il n'y avait pas cumul de déduction dans le cas où la déduction pour personne nécessiteuse était accordée au parent qui paie une pension alimentaire, alors que l'autre parent fait valoir la déduction pour enfant de l'art. 213 al. 1 let. a LIFD (cf. arrêt 2A.406/2001 du 23 janvier 2002, consid. 2, publié notamment in RDAF 2002 p. 488 ss, rendu au sujet de l'art. 35 LIFD, quand le système d'imposition praenumerando bisannuel était applicable).

La jurisprudence précitée est certes critiquée en doctrine (CHRISTINE JAQUES, Commentaire romand de la LIFD, Bâle 2008, n. 2 ad art. 213 LIFD, p. 1685; déjà avant l'arrêt du 23 janvier 2002 : PETER LOCHER, Kommentar zum DBG, Ière éd. Berne 2001, n. 35 et 36 p. 875); elle permet toutefois d'éviter une certaine inégalité lorsque les parents sont taxés séparément et que chacun d'eux contribue à l'entretien de l'enfant majeur en formation (cf. en ce sens, SIMONEK, Archives 73, 14).

Le recourant ne fait toutefois pas valoir de déduction en application de l'art. 213 al. 1 let. b LIFD et n'invoque pas davantage de violation de cette disposition ou de dispositions cantonales en la matière (voir les déductions des art. 40 et ss LI). Il n'y a donc pas lieu d'entrer plus avant sur ce point. Il ne faut pas non plus perdre de vue que seule est litigieuse en l'occurrence l'imposition des allocations familiales. Or, comme le recourant l'admet lui-même, celles-ci étaient versées directement à sa fille majeure et non la mère, de sorte que l'on ne voit pas en quoi consisterait l'inégalité fiscale par rapport à son ex-épouse. De plus, comme l'ont retenu pertinemment les juges cantonaux, les contributions d'entretien versées en faveur d'enfants majeurs ne sont ni déductibles par le débiteur, ni imposables chez le bénéficiaire. La fille du recourant n'a donc pas été imposée sur ces montants et le fait que le recourant l'ait été ne constitue pas une double imposition. Le mécanisme n'est pas contraire à l'art. 8 Cst., mais résulte du système légal en vigueur (cf. art. 17 al. 1 et 24 let. e LIFD, ainsi que 20 al. 1 et 28 al. 1 let. f LI) .

5.2 Dans le deuxième cas, le recourant fait valoir qu'en 2003, il vivait en concubinage avec la mère de A.________ et que les frais relatifs à l'entretien de leur enfant étaient partagés équitablement entre eux. Ce faisant, il déclare que la convention passée avec sa compagne le 27 septembre 1990, et ratifiée par la Justice de paix du cercle de Z.________ le 2 octobre 1990, n'a été produite que pour démontrer qu'il était bien le père de A.________ et qu'il était redevable de son entretien. Il admet donc expressément qu'il n'a pas versé de pension à la mère en 2003.

Au vu de ces déclarations, il faut tout d'abord relever que la question du versement d'une pension alimentaire de 700 fr. par mois, soit 8'400 fr. en 2003, n'est plus litigieuse et que le Tribunal cantonal a constaté à juste titre que le recourant n'avait pas apporté la preuve qu'il avait versé une pension alimentaire pour sa fille A.________ cette année-là. Reste à examiner si, comme le prétend l'intéressé, le fait de n'attribuer qu'à la mère le quotient familial et les déductions fiscales relatives à cette enfant crée une inégalité de traitement entre parents vivant sous le même toit, inégalité augmentée encore par l'adjonction des allocations familiales à son revenu.
5.2.1 Dans le système de l'impôt fédéral direct, comme en matière d'impôts cantonal et communal dont le système est identique, la pension alimentaire versée au conjoint divorcé, séparé judiciairement ou de fait, ainsi que les contributions d'entretien allouées à l'un des parents pour les enfants sur lesquels il a l'autorité parentale, sont déduites du revenu brut (art. 33 al. 1 let. c LIFD et 37 al. 1 let. c LI). En corollaire, ces prestations sont imposables chez le parent bénéficiaire (art. 23 let. f LIFD et 27 let. f LI).

Dans ce système, la déduction de la pension alimentaire représente une exception et doit respecter le principe de la concordance, c'est-à-dire que la prestation est déductible chez le débiteur, parce qu'elle est imposable chez son bénéficiaire (CHRISTINE JACQUES, op. cit,, n. 23 et 25 ad art. 33 p. 532). Parallèlement, l'art. 213 al. 1 let. a LIFD permet de déduire du revenu net, pour chaque enfant mineur, ou faisant un apprentissage ou des études, dont le contribuable assure l'entretien, un montant de 4'700 fr. (montant indexé à 5'600 fr., valable en 2003, selon l'art. 7 let. a de l'ordonnance sur la progression à froid du 4 mars 1996: OPFr; RO 1996 p. 1122, puis à 6'100 fr. depuis la modification du 27 avril 2005, en vigueur dès le 1er janvier 2006: RS 642.119.2). Quant à l'art. 214 al. 2 LIFD, il prévoit un barème plus favorable que le barème ordinaire fixé par l'art. 214 al. 1 LIFD, pour les époux vivant en ménage commun, ainsi que pour les contribuables veufs, séparés, divorcés et célibataires qui vivent en ménage commun avec des enfants ou des personnes nécessiteuses dont ils assument pour l'essentiel l'entretien (ci-après: le barème pour couples).

Dans son arrêt 2A.107/2007 du 4 septembre 2007 publié aux ATF 133 II 305 ss, le Tribunal fédéral a notamment répondu à la proposition de la doctrine d'accorder à chaque parent imposé séparément la moitié de la déduction pour enfant. Il a constaté que le système mis en place par la loi implique que les enfants soient rattachés à un couple ou à un parent unique qui constitue une unité économique (art. 9 LIFD), laquelle détermine le droit aux déductions sociales pour enfants et au barème pour couples. En outre, si les déductions sociales devaient être divisées, il n'y aurait aucune raison de s'en tenir à une répartition par moitié et d'écarter une répartition selon d'autres proportions, en fonction de la part d'entretien assurée par chaque parent, ce qui ne manquerait pas d'entraîner des difficultés d'ordre pratique. S'agissant de l'impôt fédéral direct, une telle solution devrait en tout état de cause être instaurée par le législateur (ATF 133 II 305 consid. 8.6 p. 318). Or, seul ce dernier est habilité à corriger d'éventuelles inégalités de traitement en la matière (art. 190 Cst.; ATF 133 II 305 consid. 5.2 p. 310). En attendant, les parents taxés séparément ont la possibilité d'aménager leur situation et les obligations financières qui en découlent en fonction de leurs conséquences fiscales, de manière à tenir compte au mieux des capacités économiques de chacun d'eux (ATF 133 II 305 consid. 9.2 p. 320).
5.2.2 En l'espèce, la juridiction cantonale n'a fait qu'appliquer cette jurisprudence, sur laquelle il n'y a pas lieu de revenir. Il s'ensuit que la mère étant seule détentrice de l'autorité parentale sur A.________, elle a été mise à bon droit au bénéfice d'une déduction sociale pour enfant selon l'art. 213 al. 1 let. a LIFD et du barème de l'art. 214 al. 2 LIFD. La solution n'est pas différente pour les impôts cantonal et communal, dont le système de déductions est calqué sur l'impôt fédéral direct. De même que la LIFD n'autorise pas l'octroi à chaque parent de la moitié de la déduction pour enfant, la part du quotient familial de 0.5 prévu par l'art. 13 RIFam devait être attribuée à la mère, qui ne pouvait demander son transfert au recourant, dès lors que l'exigence du versement d'une contribution financière plus élevée (cf. art. 13 RIFam i.f.) n'était pas remplie.

Dans ces circonstances, les allocations familiales que le recourant a touchées pour ses filles C.________ et A.________ en 2003 ont été ajoutées à juste titre à son revenu imposable, tant en matière d'impôt fédéral direct (art. 17 al. 1 LIFD), que pour les impôts cantonal et communal (art. 20 al. 1 LI).

6.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable, avec suite de frais à la charge du recourant (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.
Le recours est rejeté dans la mesure où il est recevable.

2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.

3.
Le présent arrêt est communiqué aux participants à la procédure et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Administration fédérale des contributions.

Lausanne, le 16 septembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:

Zünd Rochat