Shareholder loan as hidden distribution of profitsAI generated

{T 0/2}

2C_927/2013, 2C_928/2013

Arrêt du 21 mai 2014

IIe Cour de droit public

Composition
MM. et Mme les Juges fédéraux Zünd, Président,
Aubry Girardin et Kneubühler.
Greffière: Mme Vuadens.

Participants à la procédure

1. A.A.________,
   
2. B.A.________,
   tous deux représentés par Me Gilles Stickel, avocat,
   recourants,

contre

Administration fiscale cantonale genevoise.

Objet
Impôt fédéral direct 2005, impôt cantonal et communal 2005,

recours contre l'arrêt de la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, du 27 août 2013.

Faits:

A.a. A.A.________ et B.A.________ ont été domiciliés ensemble dans le canton de Genève jusqu'en 2011. Depuis l'année 2000, A.A.________ a été actionnaire à 49%, administrateur unique et directeur général de la société B.________ SA (ci-après la Société), une société anonyme au capital-actions de 100'000 fr.

A.b. Dans leur déclaration fiscale 2005 pour l'impôt cantonal et communal (ci-après: ICC) et l'impôt fédéral direct (ci-après: IFD) retournée le 11 septembre 2006, A.A.________ et B.A.________ ont, notamment, reporté un revenu brut de 404'000 fr. que A.A.________ avait réalisé en sa qualité de directeur exécutif de sociétés, ainsi qu'une fortune mobilière de 693'407 fr. Les époux A.________ ont par ailleurs fait valoir, sous la rubrique " intérêts et dettes chirographaires ", un montant de 695'312 fr. correspondant au montant de la dette de prêt due par A.A.________ à la Société, ainsi qu'un montant de 15'300 fr. correspondant aux intérêts de ce prêt.

A.c. Le 25 novembre 2005, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a procédé, pour les périodes fiscales 2002, 2003 et 2004, à des reprises dans le bénéfice déclaré de la Société en relation avec le prêt accordé à A.A.________ et celui accordé à son second actionnaire, détenant 51% des actions, qu'elle a qualifié tous deux de prêts simulés. Le 4 décembre 2006, l'Administration fiscale a effectué une reprise identique dans le chef de la Société au cours de la procédure de taxation pour la période fiscale 2005. Ces reprises n'ont pas été contestées par la Société.

A.d. Le 17 août 2009, l'Administration fiscale a notifié aux contribuables des bordereaux d'impôts IFD et ICC 2005, dont il résulte un revenu imposable de 317'000 fr. pour l'IFD, de 312'088 fr. pour l'ICC, ainsi qu'une fortune imposable de 318'128 fr. Les intéressés ont formé réclamation contre ces bordereaux, dirigée toutefois contre un élément de prévoyance professionnelle étranger à la présente affaire. Le 15 avril 2010, au cours de la procédure de réclamation, l'Administration fiscale a informé les contribuables qu'elle entendait rectifier les décisions de taxation 2005 contestées en leur défaveur " en conformité avec la taxation d'IPP du 4 décembre 2006 ", en qualifiant le prêt accordé à A.A.________ par la Société de distribution dissimulée de bénéfice, imposable sur le revenu en tant que rendement de participation. Le 28 avril 2010, A.A.________ et B.A.________ ont sollicité de l'Administration fiscale qu'elle revoie sa position, faisant valoir qu'elle avait admis l'existence du prêt litigieux dans leurs taxations fiscales depuis la période fiscale 2002, que A.A.________ avait procédé de fin 2002 à ce jour à des remboursements de sa dette initiale pour un montant total de 580'000 fr. et que les intérêts y relatifs, d'un montant total de 106'000 fr., avaient été capitalisés selon les taux recommandés par l'Administration fédérale des contributions. Par courrier du 7 juin 2012 [recte: 2010], les contribuables ont encore indiqué à l'Administration fiscale qu'un contrat écrit de prêt prévoyant un plan de remboursement avait été signé entre les parties en février 2005, après que dite Administration eut requis de la Société des renseignements relatifs à la période fiscale 2002, concernant notamment le prêt octroyé à A.A.________ pour un montant qui s'élevait originellement à 1'340'507.21 fr.

B.

Par décisions sur réclamation du 16 juillet 2010, l'Administration fiscale a rectifié les bordereaux d'impôt IFD et ICC 2005 des contribuables en leur défaveur, qualifiant le prêt de 695'312 fr. accordé par la Société à A.A.________ de distribution dissimulée de bénéfice imposable comme rendement de participation et supprimant la dette envers la Société et les intérêts y relatifs, qui avaient été portés en déduction de la fortune, respectivement du revenu déclarés. Il en résultait, pour la période fiscale 2005, un revenu imposable de 978'000 fr. pour l'IFD et de 972'700 fr. pour l'ICC, ainsi qu'une fortune imposable de 1'013'440 fr.

Le 23 juillet 2010, A.A.________ et B.A.________ ont recouru contre ces décisions sur réclamation auprès de la Commission cantonale de recours en matière administrative, remplacée le 1 er janvier 2011 par le Tribunal administratif de première instance (ci-après: le Tribunal administratif), qui a, par jugement du 12 mars 2012, admis le recours et renvoyé le dossier à l'Administration fiscale pour nouvelles décisions de taxation.

L'Administration fiscale a interjeté recours contre ce jugement auprès de la Cour de justice du canton de Genève. Par arrêt du 27 août 2013, la Cour de justice a admis le recours, annulé le jugement du Tribunal administratif du 23 avril 2012 [recte: 12 mars 2012] et rétabli les décisions sur réclamation ainsi que les bordereaux d'impôt du 16 juillet 2010.

C.

Contre l'arrêt du 27 août 2013, A.A.________ et B.A.________ forment un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent en substance, sous suite de frais et dépens, à son annulation, à ce que le Tribunal fédéral dise que le prêt accordé à A.A.________ par la Société n'est pas une prestation appréciable en argent, mais un " prêt réel " et qu'en conséquence, le Tribunal fédéral renvoie l'affaire à la Cour de justice ou au Tribunal administratif pour nouvelle décision dans le sens des considérants.

L'Administration fiscale et l'Administration fédérale des contributions concluent au rejet du recours. La Cour de justice s'en rapporte à justice quant à sa recevabilité et persiste dans les considérants et le dispositif de son arrêt.

Par ordonnance du 14 octobre 2013, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif contenue dans le recours.

Considérant en droit:

1.

Le Tribunal cantonal a rendu un seul arrêt pour les deux catégories d'impôts (ICC et IFD), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôt dans leur recours devant le Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons où deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_927/2013), l'autre l'IFD (2C_928/2013). Comme l'état de fait et les griefs qu'invoquent les recourants sont identiques, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).

2.

Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF). Il contrôle librement la recevabilité des recours qui lui sont soumis (ATF 139 V 42 consid. 1 p. 44).

Le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue dans une cause de droit public (cf. art. 82 let. a LTF), par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme du reste l'existence de cette voie de droit pour l'IFD, alors que l'art. 73 al. 1 LHID (RS 642.14) fait de même en matière d'ICC. Les recourants, contribuables et destinataires de l'arrêt attaqué, ont un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'ils ont qualité pour recourir (art. 89 al. 1 LTF). Au surplus, déposé en temps utile et dans les formes requises (cf. art. 42 al. 1 et 2 et art. 100 al. 1 LTF), le recours est en principe recevable.

3.

Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (art. 95 let. a et 106 al. 1 LTF), ainsi que du droit cantonal harmonisé (ATF 134 II 207 consid. 2 p. 210). Il y procède en se fondant sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte - c'est-à-dire arbitrairement (ATF 137 III 226 consid. 4.2 p. 234; 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). D'une manière générale, la correction du vice doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 136 III 552 consid. 4.2 p. 560; 135 V 2 consid. 1.3; 134 I 140 consid. 5.4). Le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal de céans n'entre pas en matière sur des critiques appellatoires portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF 135 III 397 consid. 1.4 p. 400).

Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). En conséquence, les " précisions et remarques " contenues dans la partie " Faits " du mémoire de recours ne seront pas prises en considération dans la mesure où elles s'écartent des faits figurant dans l'arrêt attaqué sans que les recourants n'invoquent ni a fortiori ne démontrent qu'ils ont été établis de manière manifestement inexacte; en outre, en tant qu'elles ne ressortiraient pas du dossier, les pièces que les recourants ont jointes à leur recours sont irrecevables (arrêt 2C_300/2013 du 21 juin 2013 consid. 1.3).

4.

Le litige porte sur le point de savoir si le prêt accordé accordé par la Société au recourant 1 constitue une prestation appréciable en argent de la Société à son actionnaire pour la période fiscale 2005.

Impôt fédéral direct

5.

5.1. Selon l'art. 20 al. 1 let. c LIFD, est imposable le rendement de la fortune mobilière, en particulier les dividendes, les parts de bénéfice, les excédents de liquidation et tous autres avantages appréciables en argent provenant de participations de tout genre. Font partie des avantages appréciables en argent au sens de cette disposition les distributions dissimulées de bénéfice (cf. art. 58 al. 1 let. b LIFD), soit des attributions de la société aux détenteurs de parts auxquelles ne correspond aucune contre-prestation ou une contre-prestation insuffisante et qui ne seraient pas effectuées ou dans une moindre mesure en faveur d'un tiers non participant (ATF 138 II 57 consid. 2.2 p. 59; 119 Ib 116 consid. 2 p. 119; arrêts 2C_644/2013 du 21 octobre 2013 consid. 3.1; 2C_797/2012 du 31 juillet 2013 consid. 2.1, in StE 2013 B 72.14.2 Nr. 41). De jurisprudence constante, il y a avantage appréciable en argent si 1) la société fait une prestation sans obtenir de contre-prestation correspondante; 2) cette prestation est accordée à un actionnaire ou à une personne le ou la touchant de près; 3) elle n'aurait pas été accordée à de telles conditions à un tiers; 4) la disproportion entre la prestation et la contre-prestation est manifeste, de telle sorte que les organes de la société savaient ou auraient pu se rendre compte de l'avantage qu'ils accordaient (ATF 140 II 88 consid. 4.1 p. 92 s.; 131 II 593 consid. 5 p. 607 s.; 119 Ib 116 consid. 2 p. 119; arrêts 2C_589/2013 du 17 janvier 2014 consid. 7.2, in Archives, 82, p. 482, RDAF 2014 II 78). L'évaluation de la prestation se mesure par comparaison avec une transaction qui aurait été effectuée entre parties non liées et en tenant compte de toutes les circonstances concrètes du cas d'espèce (principe du " Dealing at arm's length "; ATF 140 II 88 consid. 4.1 p. 92 s.; 138 II 545 consid. 3.2 p. 549; 138 II 57 consid. 2.2 p. 60).

5.2. Le prêt qu'une société de capitaux accorde à son actionnaire ou à un proche constitue une prestation appréciable en argent qui doit être ajoutée au revenu de son bénéficiaire conformément à l'art. 20 al. 1 let. c LIFD si l'opération s'écarte des conditions qui prévaudraient entre tiers (ATF 138 II 57 consid. 3.1 p. 60; arrêts 2C_533/2009 du 7 août 2009 consid. 3.1, in StE 2010 B 24.4 Nr. 79; 2A.79/2002 du 27 janvier 2003 consid. 2.2, in RF 58/2003 p. 368, RDAF 2003 II 382; 2P.280/2001 du 30 avril 2002, in StE 2002 B 24.4 Nr. 67; arrêt 2A.133/1993, in Archives 64, p. 641, RDAF 1997 II 392). Dans le cadre de cette comparaison avec les tiers, il importe de tenir compte de toutes les circonstances du cas d'espèce, en partant du contrat conclu entre les parties. Le Tribunal fédéral a développé des critères permettant d'apprécier si un prêt constitue une prestation appréciable en argent. C'est notamment le cas lorsque l'octroi d'un prêt n'est pas couvert par le but social ou qu'il s'avère inhabituel au regard de la structure générale du bilan, à savoir lorsqu'il n'est pas couvert par les moyens à disposition de la société ou qu'il apparaît excessivement élevé par rapport à l'ensemble de ses actifs, de sorte qu'il représente un risque important pour elle. Un prêt peut également constituer une prestation appréciable en argent si la société pouvait avoir des doutes sérieux sur la solvabilité du débiteur ou lorsqu'aucune garantie n'est prévue et qu'il n'existe aucune disposition relative au remboursement du prêt, lorsque les intérêts ne sont pas payés, mais ajoutés au compte d'emprunt et qu'il n'existe aucun contrat écrit (ATF 138 II 57 consid. 3.2 p. 60 s. et les références citées). Pour juger si un prêt constitue une prestation appréciable en argent, il faut partir du moment où le prêt a été accordé. On ne peut tenir compte de développements ultérieurs que dans la mesure où ils étaient déjà connus à ce moment-là, ou qu'ils étaient prévisibles (arrêt 2A.133/1993 du 3 février 1995 consid. 5, in Archives 64, p. 641, RDAF 1997 II 392).

5.3. Ces critères ont été avant tout développés pour déterminer si un prêt réel, à savoir une prestation accordée par une société à titre onéreux, l'emprunteur étant tenu au remboursement du prêt (art. 312 CO), constitue une prestation appréciable en argent. Si l'enjeu consiste en revanche à déterminer si un prêt est simulé, il faut alors démontrer que sur la base des rapports particuliers entre les parties et de l'ensemble des circonstances du cas d'espèce, on ne peut pas ou on ne peut plus compter sérieusement sur le remboursement du prêt (ATF 138 II 57 consid. 5 et 5.1 p. 62). Dans ce contexte, l'absence de contrat écrit n'est pas en soi déterminante, puisqu'elle peut reposer sur d'autres raisons qu'une intention de simulation; en revanche, le fait que le prêt ne figure pas au bilan de la créancière (et, le cas échéant, à celui du débiteur) et que ce dernier ne revendique aucune déduction d'intérêts passifs peut signifier que les intéressés eux-mêmes admettent l'inexistence d'un prêt (ATF 138 II 57 consid. 5.1.1 p. 63 et les références citées). Le fait que le but statutaire de la société prêteuse ne comprenne pas l'octroi de crédits ne permet pas de conclure sans autre à l'existence d'une simulation. Il faut en revanche admettre que le prêt a été simulé lorsqu'il a permis à son bénéficiaire de financer dans une large mesure son train de vie ou de rembourser des dettes privées (ATF 138 II 57 consid. 5.1.2 p. 63 et les références citées). La situation financière respective des parties doit également être examinée. Un prêt dont le montant est inhabituellement élevé par rapport à la fortune de la société prêteuse peut paraître insolite en comparaison avec des tiers, en particulier si ce prêt représente le seul actif notable de la société ou qu'il dépasse le capital propre existant, mais ne permet pas encore de conclure qu'il ne faut pas compter avec le remboursement du prêt. La situation doit être appréciée différemment si la société n'a pas les fonds propres suffisants pour octroyer le prêt, de sorte qu'elle doit elle-même se procurer ces moyens auprès d'un tiers. Il y a par ailleurs clairement simulation lorsque le débiteur se trouve dans une situation financière délicate et qu'il n'est pas en mesure d'exécuter dans la durée et par ses propres moyens les obligations découlant du prêt, soit le paiement des intérêts et de l'amortissement (ATF 138 II 57 consid. 5.1.3 p. 63 s. et les références citées et consid. 7.4.3 p. 68).

L'admission d'une simulation n'est possible que sur la base d'indices clairs, faute de quoi l'autorité fiscale doit attendre que les indices s'intensifient jusqu'à constituer une preuve indiscutable (ATF 138 II 57 consid. 5.2.2 p. 65; arrêts 2C_461/2008 du 23 décembre 2008 consid. 2.1, in RF 64/2009, p. 308, RDAF 2009 II 482; 2A.79/2002 du 27 janvier 2003 consid. 2.2, in Archives 72, p. 736, RDAF 2003 II 382; arrêt du 25 novembre 1983 consid. 7, in Archives 53, p. 54, RDAF 1984, p. 362).

5.4. Dans le domaine des prestations appréciables en argent, les autorités fiscales doivent apporter la preuve que la société a fourni une prestation et qu'elle n'a pas obtenu de contre-prestation ou une contre-prestation insuffisante (ATF 138 II 57 consid. 7.1 p. 66; 133 II 153 consid. 4.3 p. 158). Si les preuves recueillies par l'autorité fiscale fournissent suffisamment d'indices révélant l'existence d'une telle disproportion, il appartient alors au contribuable d'établir l'exactitude de ses allégations (arrêts 2C_554/2013 du 30 janvier 2014 consid. 2.2; 2C_644/2013 du 21 octobre 2013 consid. 3.2; 2C_797/2012 du 31 juillet 2013 consid. 2.2 et 2.2.1, in StE 2013 B 72.14.2 Nr. 41). Il en va de même lorsque la présentation des faits par l'autorité est vraisemblable selon l'expérience de la vie. Dans ces situations, le fardeau de la preuve des allégations contraires à celles de l'administration repose alors sur le contribuable (arrêts 2C_818/2012 du 21 mars 2013 consid. 6.2; 2C_199/2009 du 14 septembre 2009 consid. 3.1). Dans le contexte de la simulation, le Tribunal fédéral a souligné que l'absence de volonté de rembourser représente un élément subjectif, dont l'existence se déduit sur la base de l'examen de l'ensemble des circonstances extérieures et que, constituant un fait générateur d'imposition, la preuve en incombe à l'autorité fiscale (ATF 138 II 57 consid. 7.1 p. 66).

5.5. En l'espèce, l'arrêt attaqué retient que le prêt accordé en 2002 au recourant était simulé dès son origine. Les juges cantonaux se sont fondés sur le montant remis au recourant par la Société en 2002, équivalant à " neuf à dix fois son capital-actions ", sans garantie et sans que le remboursement en soit initialement prévu. Dans ce contexte, l'inscription de la dette de l'actionnaire dans les comptes de la Société ne pourrait être considérée comme une contre-prestation, car un tiers n'aurait pas pu obtenir de la Société un tel prêt, sans conditions en 2002 ou à celles fixées en 2005. Seul organe de la Société, le recourant ne pouvait que se rendre compte du fait qu'il obtenait de cette dernière des facilités financières sans contreprestation valable. En outre, la Société n'a pas contesté les bordereaux rectificatifs notifiés par l'Administration fiscale pour les périodes fiscales 2002 à 2004, ni le bordereau ordinaire 2005, qui reprenaient le prêt litigieux au titre de prêt simulé. En pareilles circonstances, les juges cantonaux ont estimé que l'Administration fiscale disposait d'éléments pertinents pour considérer que le prêt accordé au recourant était simulé, les recourants ayant échoué à appporter la preuve contraire; en particulier, le fait allégué selon lequel le prêt a fait l'objet de remboursements dès 2003, qui se reflètent dans les bilans de la Société par une diminution correspondante de la dette de 1'340'507.21 fr. en 2002 à 695'312 fr. en 2005, ne constituerait qu'un élément isolé n'ayant qu'une portée purement formelle au regard de l'ensemble des circonstances du cas du cas d'espèce.

5.6. La motivation contenue dans l'arrêt attaqué n'est pas convaincante en tant qu'elle tend à démontrer que la mise à disposition du montant de 1'340'507.21 fr. par la Société au recourant en 2002 était constitutive d'un prêt simulé. Il est ainsi sans pertinence à cet égard que ce montant ait représenté " neuf à dix fois " le capital-actions de la Société, une telle comparaison ne permettant de tirer aucune conclusion quant à la capacité financière d'une société d'octroyer un prêt. Ensuite, le fait que le prêt litigieux n'aurait jamais été accordé à un tiers dans les mêmes circonstances en 2002 est certes décisif pour juger si un prêt constitue une prestation appréciable en argent, mais n'est pas déterminant pour juger de la réalité ou non d'un prêt, en d'autres termes pour qualifier cette prestation appréciable en argent de prêt simulé (cf. ci-dessus consid. 5.3). Les juges cantonaux n'ont par ailleurs pas examiné tous les critères jurisprudentiels permettant d'apprécier le caractère simulé d'un prêt. Ils n'ont ainsi pas déterminé si le montant accordé à titre de prêt avait servi à financer le train de vie de ses bénéficiaires en leur permettant, par exemple, de rembourser des dettes privées, ou si les recourants se trouvaient dans une situation financière délicate au moment de son octroi, de sorte qu'il apparaissait clairement qu'ils ne seraient pas en mesure d'exécuter les obligations en découlant. Sur la base des faits qu'ils ont établis, les juges cantonaux ne disposaient pas d'éléments suffisants pour établir clairement, comme l'exige la jurisprudence, que la mise à disposition des fonds a été réalisée à titre gratuit et non pas à titre onéreux.

5.7. Il ne s'ensuit pas pour autant que le recours doit être admis. Appliquant le droit d'office, le Tribunal fédéral n'est pas lié par les arguments invoqués dans le mémoire de recours ni par les considérants en droit de l'instance précédente. Il peut ainsi admettre le recours pour d'autres motifs que ceux invoqués ou le rejeter en adoptant une motivation différente de celle figurant dans l'arrêt attaqué (ATF 133 III 545 consid. 2.2 p. 550; 130 III 136 consid. 1.4 p. 140). En l'occurrence, le cas d'espèce tel que décrit dans l'arrêt attaqué présente des critères qui permettent de conclure que le prêt octroyé en 2002 n'aurait jamais été accordé à un tiers et qu'il constitue ainsi une prestation appréciable en argent, comme exposé ci-après.

5.7.1. En premier lieu, l'octroi de prêts n'est pas couvert par le but social de la Société, qui consistait, selon l'extrait du registre du commerce genevois disponible sur le site internet Zefix.ch, en des activités, exclusivement à l'étranger, de commerce, représentation, prise de participations et financement dans les domaines des produits manufacturés ou industriels se rapportant notamment à la téléphonie mobile, ainsi que dans le domaine des matières premières et des produits pétroliers (faits notoires; cf. ATF 138 II 557 consid. 6.2 p. 563 s.). Ensuite, la mise à disposition, par la Société, d'un montant de 1'340'507.21 fr. au recourant en 2002 à titre de prêt est insolite au regard de la structure générale du bilan 2002 de la Société qui figure au dossier (art. 105 al. 2 LTF), que le recourant, en tant qu'administrateur unique, ne pouvait ignorer. Il en ressort en effet, d'une part, que les prêts accordés aux deux actionnaires représentaient l'essentiel (soit 88.29%) de ses actifs, ces derniers ne comportant par ailleurs pas de réserves latentes et que, d'autre part, ces prêts n'étaient pas couverts par les fonds disponibles. Vont également dans le sens de l'existence d'une prestation appréciable en argent, comme l'ont constaté les juges cantonaux, le fait que l'octroi du prêt n'a été assorti d'aucune garantie, que les intérêts n'ont pas été payés, mais ajoutés au compte d'emprunt, et que le prêt n'a pas fait l'objet d'un contrat écrit lors de son octroi en 2002. Sur ce dernier point, le fait qu'un contrat écrit ait été signé en 2005 entre la Société, représentée par le recourant, et ce dernier, n'est pas relevant, car il a été conclu bien postérieurement à l'octroi du prêt (cf. ci-dessus consid. 5.2). Au demeurant, la validité d'un tel contrat est douteuse dès lors qu'il a été conclu par le recourant 1 en sa qualité de représentant de la Société avec lui-même en tant que bénéficiaire du prêt. Dans un tel cas en effet, l'acte juridique passé est nul, à moins que le risque de porter préjudice au représenté ne soit exclu par la nature de l'affaire, que celui-ci n'ait spécialement autorisé le représentant à conclure le contrat ou qu'il ne l'ait ratifié par la suite. Lorsque le contrat avec soi-même est passé par l'unique membre du conseil d'administration, toute ratification relève de la compétence de l'assemblée générale, en tant qu'organe de rang supérieur (ATF 127 III 332 consid. 2a p. 333 s.; arrêt 4A_338/2012 du 30 août 2012 consid. 1.4.1). Or, les recourants n'ont établi la réalisation d'aucune de ces circonstances en l'espèce.

5.7.2. Il découle de ce qui précède que le prêt octroyé par la Société au recourant en 2002 a constitué une prestation appréciable en argent. Dès lors, la question, plus spécifique, consistant à savoir si le prêt était en réalité simulé, faute de volonté de remboursement initiale de la part du recourant, n'a pas besoin d'être tranchée. Il n'est donc pas nécessaire d'examiner les arguments présentés par les recourants en ce sens. Finalement, le fait que l'autorité fiscale n'a pas opéré de reprise dans les décisions de taxation des recourants pour les périodes fiscales 2002 à 2004 ne fonde aucun droit au maintien de cette situation pour la période 2005, contrairement à ce que semblent soutenir ces derniers.

5.7.3. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il concerne l'impôt fédéral direct.

Impôts cantonal et communal

6.

La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (ATF 140 II 88 consid. 10 et les références citées). Il peut ainsi être renvoyé s'agissant de l'impôt cantonal et communal à la motivation développée en matière d'impôt fédéral direct. Le recours doit par conséquent être rejeté, dans la mesure où il est recevable, en tant qu'il concerne l'impôt cantonal et communal.

Conséquence, ainsi que frais et dépens

7.

Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art 66 al. 1 et al. 5 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:

1.

Les causes 2C_927/2013 et 2C_928/2013 sont jointes.

2.

Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2005.

3.

Le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 2005.

4.

Les frais judiciaires, d'un montant de 5'000 fr., sont mis à la charge des recourants, solidairement entre eux.

5.

Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale genevoise, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.

Lausanne, le 21 mai 2014

Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse

Le Président: Zünd

La Greffière: Vuadens