Aus den Erwägungen:
4.1 Es ist unstreitig, dass der Beschwerdeführer die Voraussetzungen für die Erteilung der Niederlassungsbewilligung in zeitlicher Hinsicht erfüllt (Art. 34 Abs. 2a Bundesgesetz über die Ausländerinnen und Ausländer; AuG) und keine Widerrufsgründe nach Artikel 62 AuG gegeben sind (Art. 34 Abs. 2b AuG).
4.2 Im Weiteren kann für die Frage des erforderlichen Sprachniveaus grundsätzlich — vor allem jedoch im Sinn einer Obergrenze bzw. eines Höchstmasses — auf das bei Artikel 34 Absatz 4 AuG in Verbindung mit Artikel 62 Absatz 1b der Verordnung über Zulassung, Aufenthalt und Erwerbstätigkeit vom 24. Oktober 2007 (VZAE) Geltende abgestellt werden. Demnach liegt eine erfolgreiche Integration vor, wenn ein Ausländer oder eine Ausländerin in der am Wohnort gesprochenen Landessprache mindestens das Referenzniveau A2 des gemeinsamen europäischen Referenzrahmens für Sprachen des Europarates erreicht. Dazu führt das Bundesamt für Migration (BFM) aus, dass ein Ausländer oder eine Ausländerin für die vorzeitige Erteilung einer Niederlassungsbewilligung nach Artikel 34 Absatz 4 AuG die erlernte Landessprache durch Vorlegen eines Zertifikats (z.B. TELC, DELF, Goethe oder CELI) oder durch einen äquivalenten Nachweis einer anerkannten Prüfstelle (z.B. INTERPRET) belegen muss, wobei Personen, welche in der Schweiz die obligatorische Schule oder mindestens den Sekundarabschluss II absolvieren bzw. absolviert haben, von dieser Nachweispflicht ausgenommen sind (vgl. auch Art. 62 Abs. 2 VZAE, wonach nur der Integrationsgrad der Familienangehörigen, die älter als zwölf Jahre sind, berücksichtigt wird). Für die vorzeitige Erteilung einer Niederlassungsbewilligung wegen erfolgreicher Integration wird ferner verlangt, dass beide Ehepartner mindestens das Referenzniveau A2 nachweisen können (vgl. zum Ganzen Anhang 1 der Weisungen und Erläuterungen des BFM zur Integration).
4.3 Wie erwähnt dürfen die Anforderungen an die Erteilung der Niederlassungsbewilligung nach Artikel 34 Absatz 2 AuG nicht höher sein als für diejenige nach Artikel 34 Absatz 4 AuG in Verbindung mit Artikel 62 VZAE. Auch die Anwendung eines gleich strengen Massstabs rechtfertigt sich nur in einem sehr beschränkten Mass. Die Berücksichtigung des Integrationsgrades der Familienangehörigen bzw. des Ehegatten, der keine Niederlassungsbewilligung beantragt, ist daher nicht zulässig. Namentlich fehlt es hierzu an einer entsprechenden gesetzlichen Grundlage (vgl. auch Peter Bolzli, in: Spescha/Thür/Zünd/Bolzli, Kommentar Migrationsrecht, 3. Aufl., Zürich 2012, N 8 zu Art. 34 AuG) . Zudem würde damit der kantonalen Praxis widersprochen, wonach ein Gesuch um Erteilung einer Niederlassungsbewilligung nach Artikel 34 Absatz 2 AuG von jedem einzelnen Familienmitglied gestellt werden kann und daher unabhängig vom Integrationsgrad der übrigen Familienangehörigen geprüft wird. Vorliegend wurde die Ehefrau des Beschwerdeführers nicht in das Gesuch um Erteilung der Niederlassungsbewilligung einbezogen, da sie die zeitlichen Voraussetzungen erst per 12. April 2013 erfüllt. Ihre sprachliche Integration kann somit von vornherein nicht zur Abweisung des vorliegenden Niederlassungsgesuchs herangezogen werden, weshalb es die Vorinstanz zu Unrecht unterlassen hat, den sprachlichen Integrationsgrad des Beschwerdeführers bzw. die in diesem Zusammenhang vorgebrachten Umstände näher zu prüfen.
4.4 In Bezug auf sein persönliches Sprachniveau macht der Beschwerdeführer geltend, dass er an einer Sprachbehinderung (Missbildung der Zungennerven) leide und deshalb in Sri Lanka nie die Schule habe besuchen können. Es sei ihm auch nach seiner Einreise in die Schweiz aus diesem Grund nicht möglich gewesen, die deutsche Schriftsprache zu erlernen. Bereits während der Asylbefragung vom 26. April 1990 habe er angegeben, ein Analphabet zu sein. Deswegen sei er später auch von den Spracheinführungskursen im Asylzentrum dispensiert worden. Die damals zuständigen Lehrer hätten diese Kurse für ihn nicht als geeignet befunden. Dennoch habe er drei Mal erfolglos probiert, den Kurs zu besuchen. Unter Berücksichtigung dieser speziellen Umstände könne ihm sein Analphabetismus bzw. der mangelnde Nachweis eines Sprachreferenzniveaus A2 nicht angelastet werden, dürften Menschen aufgrund ihrer körperlichen Behinderung bzw. eines Geburtsgebrechens doch nicht diskriminiert werden. Ausserdem habe er keine Probleme im mündlichen Sprachgebrauch, und er sei auch sozial sehr gut integriert.
4.5 Gemäss den Weisungen des Bundesamtes für Migration zu Artikel 4 Unterabsatz b der Verordnung über die Integration von Ausländerinnen und Ausländern vom 24. Oktober 2007 (VIntA) ist beim Erlernen der am Wohnort gesprochenen Landessprache den individuellen Verhältnissen wie Analphabetismus, Bildungsstand, Arbeitsauslastung und Betreuungspflichten Rechnung zu tragen (vgl. Ziff. 2.2/5. der Weisungen und Erläuterungen des BFM zur Integration [in der Fassung vom 8. Februar 2012]). Das Erfordernis des Nachweises eines Sprachreferenzniveaus A2 darf somit nicht strikt angewendet werden. Den Behörden wird auch hier ein Ermessensspielraum zugestanden, der pflichtgemäss auszufüllen ist. Macht ein Gesuchsteller — wie vorliegend — ausdrücklich geltend, aufgrund einer körperlichen Disposition und mangelnder Schulbildung nicht in der Lage zu sein, die deutsche Schriftsprache zu erlernen, sind diesbezügliche (Sachverhalts-)Abklärungen zu treffen. Der Beschwerdeführer wurde vom Justiz- und Sicherheitsdepartement deshalb aufgefordert, ein aktuelles Arztzeugnis bzw. einen aktuellen Fachbericht einzureichen, welcher darüber Auskunft gibt, ob er an einer Lese- und Schreibschwäche bzw. -störung leidet, worauf eine solche allenfalls zurückzuführen ist und ob ihm dennoch zugemutet werden kann, zumindest auf einem bescheidenen Niveau die Schriftsprache zu erlernen. Dieser Aufforderung kam der Beschwerdeführer innert Frist nach. Dem von ihm eingereichten logopädischen Bericht vom 29. August 2012 ist zu entnehmen, dass der Beschwerdeführer nicht fähig ist, Schreib- und Leseleistungen zu erbringen. Ob diese Schreib- und Leseschwäche auf eine Lernbehinderung zurückzuführen ist, kann gemäss dem Bericht nicht klar beantwortet werden, da der Beschwerdeführer — aufgrund einer Einschränkung der Zungenbeweglichkeit unklarer Ätiologie — nie die Möglichkeit gehabt habe, in seinem Heimatland eine Schule zu besuchen, das schulische Lernen zu erfahren und entsprechende Lernstrategien kennenzulernen. Deshalb seien logopädische Massnahmen im Sinn einer regelmässigen Funktionstherapie nicht indiziert. Vielmehr sei der Beschwerdeführer in seinem Alltag gefordert, seine sprachliche Aufmerksamkeit zu fördern und die erarbeiteten Strategien anzuwenden. Zudem sei er auf ein verständnisvolles Umfeld angewiesen. Das Erlernen der Schriftsprache, welche ihm eine Selbständigkeit in seinem Lebensalltag ermöglicht, ist aus Sicht der Logopädin indes nicht möglich. Es würde bedeuten, dass der Beschwerdeführer im Einzelunterricht auf Erwachsenenebene gefördert werden müsste, seinen Bedürfnissen und Alltagsanforderungen entsprechend auf ganz pragmatischer Ebene.
4.6 Aus dem logopädischen Bericht ist zu schliessen, dass vom Beschwerdeführer nicht ohne weiteres verlangt werden kann, dass er die deutsche Schriftsprache erlernt bzw. den üblichen Nachweis für die erlernte Landessprache erbringt. Die mangelnde Schulbildung, die Einschränkung der Zungenbeweglichkeit (das Sprechen sei deswegen undeutlich und nicht immer verständlich) sowie der Umstand, dass es um das Erlernen einer Fremdsprache und nicht um Sprachkurse hinsichtlich der Muttersprache geht, machen das Erlernen der Schriftsprache für den Beschwerdeführer mit dem — namentlich für Ausländer — zur Verfügung stehenden Kursangebot nahezu unmöglich. Darüber hinaus hält der Bericht vom 29. August 2012 fest, dass der Beschwerdeführer die deutsche Sprache immerhin so weit beherrscht, dass er Angaben zu seiner Person machen und einem Alltagsgespräch bzw. einem Gespräch in Interviewform über seine Person recht gut folgen kann. Insgesamt betrachtet sei er deshalb trotz gewisser Verwechslungen (z.B. Vorname/Name) fähig, in einer angepassten Zweiersituation recht gute sprachliche Leistungen zu vollbringen. Es ist daher davon auszugehen, dass die mündlichen Deutschkenntnisse des Beschwerdeführers in etwa dem Sprachreferenzniveau A2 entsprechen. Dieses erreicht in der Regel, wer in der Lage ist, Sätze und häufig gebrauchte Ausdrücke (z.B. Informationen zur Person und zur Familie, Einkaufen, Arbeit, nähere Umgebung) zu verstehen, sich in einfachen routinemässigen Situationen (z.B. Situationen, in denen es um einen einfachen und direkten Austausch von Informationen über vertraute und geläufige Dinge geht) zu verständigen und mit einfachen Mitteln die eigene Herkunft und Ausbildung, die direkte Umgebung und Dinge im Zusammenhang mit unmittelbaren Bedürfnissen zu beschreiben (vgl. www.uni-due.de/imperia/md/content/ios/ger\_globalskala). Schliesslich deutet auch die Anstellung des Beschwerdeführers als Küchenmitarbeiter in der X-Klinik seit dem 1. November 2008 darauf hin, dass er sich mündlich genügend auf Deutsch ausdrücken kann.
4.7 Zusammenfassend ist deshalb festzuhalten, dass nicht von jedem Ausländer strikt verlangt werden kann, dass er ein Kurs- oder Spracheinstufungstestzertifikat oder einen äquivalenten Nachweis einer anerkannten Prüfungsstelle einreicht, um ein gewisses Sprachreferenzniveau zu belegen. Wie erwähnt sind den individuellen Verhältnissen wie Analphabetismus, Bildungsstand, Arbeitsauslastung und Betreuungspflichten Rechnung zu tragen. Ist einem Ausländer aus nachvollziehbaren und objektivierbaren Gründen nicht zuzumuten, die deutsche Schriftsprache zu erlernen, sind seine mündlichen Sprachkenntnisse anderweitig zu überprüfen. Entsprechen diese dem erforderlichen Sprachreferenzniveau (in casu maximal das Sprachreferenzniveau A2), ist der gesuchstellenden Person im Rahmen des behördlichen Ermessens eine Niederlassungsbewilligung gestützt auf Artikel 34 Absatz 2 AuG zu erteilen. (Justiz- und Sicherheitsdepartement, 18. September 2012)