Aus den Erwägungen:
9.
9.1.
Der Beschwerdeführer kritisiert in erster Linie die psychiatrische Expertise von Dr. med. A, FMH Psychiatrie und Psychotherapie. Insbesondere sei nicht nachvollziehbar, weshalb die Diagnose einer chronischen Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41) keinen Einfluss auf die Arbeitsfähigkeit haben soll. Diesbezüglich sei abzuklären, ob sie für den Versicherten überwindbar sei oder nicht. Eine entsprechende Auseinandersetzung mit den Überwindbarkeitskriterien finde sich in den Akten nicht.
9.2.
Dazu ist zunächst festzuhalten, dass sich Dr. A sehr wohl mit den Foerster-Kriterien auseinandergesetzt hat (vgl. Gutachten S. 12, Ziff. 4.1.5). Allerdings ist zu berücksichtigen, dass das Bundesgericht – wie bereits erwähnt – zwischenzeitlich mit Entscheid 9C\_492/2014 vom 3. Juni 2015 (zur Publikation vorgesehen) seine bisherige Rechtsprechung zur invalidisierenden Wirkung von somatoformen Schmerzstörungen und vergleichbaren psychosomatischen Leiden in zentralen Punkten geändert hat. Davon betroffen ist auch die hier zu beurteilende chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41), weshalb die neue Rechtsprechung auf den vorliegenden Fall Anwendung findet.
9.3.
Weiterhin kann eine Einschränkung der Leistungsfähigkeit nur anspruchserheblich sein, wenn sie Folge einer fachärztlich einwandfrei diagnostizierten Gesundheitsbeeinträchtigung ist (vgl. dazu und zum Folgenden: BGer-Urteil 9C\_899/2014 vom 29.6.2015 E. 3.1 mit Hinweisen). Auch künftig wird der Rentenanspruch – in Nachachtung der verfassungs- und gesetzmässigen Vorgaben von Art. 8 und 29 der Bundesverfassung der Schweizerischen Eidgenossenschaft (BV; SR 101; Rechtsgleichheit) und Art. 7 Abs. 2 des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG; SR 830.1; objektivierte Zumutbarkeitsbeurteilung) – anhand eines normativen Prüfrasters beurteilt, und es braucht medizinische Evidenz, dass die Erwerbsunfähigkeit aus objektiver Sicht eingeschränkt ist. Indes hält das Bundesgericht – der seit längerem namentlich aus medizinischer, aber auch aus juristischer Sicht an der bisherigen Schmerzrechtsprechung geäusserten Kritik Rechnung tragend – an der Überwindbarkeitsvermutung nicht weiter fest (Urteil 9C\_492/2014 vom 3.6.2015 E. 3.5). Anstelle des bisherigen Regel/Ausnahme-Modells tritt ein strukturierter, normativer Prüfraster. In dessen Rahmen wird im Regelfall anhand von auf den funktionellen Schweregrad bezogenen Standardindikatoren das tatsächlich erreichbare Leistungsvermögen ergebnisoffen und symmetrisch beurteilt, indem gleichermassen den äusseren Belastungsfaktoren wie den vorhandenen Ressourcen Rechnung getragen wird.
9.4.
Das Bundesgericht hat die massgeblichen Abklärungen in zwei Hauptbereiche aufgeteilt. Einerseits müssen unter dem Stichwort des "funktionellen Schweregrades" folgende drei Indikatoren-Komplexe im Zusammenhang mit dem Gesundheitsschaden, der Persönlichkeitsstruktur sowie dem sozialen Umfeld der versicherten Person geklärt werden (BGer-Urteil 9C\_492/2014 vom 3.6.2015 E. 4.1.3):
1. Komplex "Gesundheitsschädigung":
1.1 Ausprägung der diagnoserelevanten Befunde
1.2 Behandlungs- und Eingliederungserfolg oder -resistenz
1.3 Komorbiditäten
2. Komplex "Persönlichkeit":
Persönlichkeitsdiagnostik (Persönlichkeitsstruktur, Persönlichkeitsentwicklung und -störungen, persönliche Ressourcen)
3. Komplex "Sozialer Kontext":
3.1 Abgrenzung psychosozialer und soziokultureller Faktoren
3.2 Eruierung der Ressourcen anhand des sozialen Umfelds
Andererseits müssen die auf diesem "Grundgerüst" beruhenden Folgerungen einer Konsistenzprüfung standhalten, die wiederum zwei Punkte umfasst:
1. Gleichmässige Einschränkung des Aktivitätenniveaus in allen vergleichbaren Lebensbereichen
2. Behandlungs- und eingliederungsanamnestisch ausgewiesener Leidensdruck
Anhand dieses Prüfungsrasters hat eine ergebnisoffene, symmetrische Beurteilung des tatsächlich erreichbaren Leistungsvermögens zu erfolgen (vgl. zum Ganzen Gächter/Meier, Schmerzrechtsprechung 2.0, in: Jusletter 29.6.2015).
9.5.
Zwar hatten die Ärzte bereits bis anhin ihre Stellungnahmen zur Arbeitsfähigkeit so substanziell wie möglich zu begründen, und es war für die ärztliche Plausibilitätsprüfung wichtig, in welchen Funktionen die versicherte Person eingeschränkt ist (vgl. dazu und zum Folgenden: BGer-Urteil 9C\_899/2014 vom 29.6.2015 E. 3.2 mit Hinweisen). Die diesbezüglichen Anforderungen hat das Bundesgericht aber nunmehr dahin gehend konkretisiert, dass aus den medizinischen Unterlagen genauer als bisher ersichtlich sein muss, welche funktionellen Ausfälle in Beruf und Alltag aus den versicherten Gesundheitsschäden resultieren. Diagnosestellung und – in der Folge – Invaliditätsbemessung haben somit stärker als bis anhin die entsprechenden Auswirkungen der diagnoserelevanten Befunde zu berücksichtigen. Insbesondere sei die, der Diagnose einer somatoformen Schmerzstörung immanente, Schwere der Erkrankung (andauernder, schwerer und quälender Schmerz) genau festzustellen (BGer-Urteil 9C\_492/2014 vom 3.6.2015 E. 2.1.1; Gächter/Meier, a.a.O., Rz 80). Medizinisch muss schlüssig begründet sein, inwiefern sich aus den funktionellen Ausfällen bei objektivierter Zumutbarkeitsbeurteilung anhand der Standardindikatoren eine Einschränkung der Arbeitsfähigkeit ergibt. Wo dies nicht mit überwiegender Wahrscheinlichkeit dargetan werden kann, trägt weiterhin die materiell beweisbelastete versicherte Person die Folgen. Eine anhaltende somatoforme Schmerzstörung und vergleichbare Leiden können somit eine Invalidität begründen, sofern funktionelle Auswirkungen der medizinisch festgestellten gesundheitlichen Anspruchsgrundlage im Einzelfall anhand der Standardindikatoren schlüssig und widerspruchsfrei mit zumindest überwiegender Wahrscheinlichkeit in einem anspruchserheblichen Ausmass nachgewiesen sind.
9.6.
In intertemporalrechtlicher Hinsicht hielt das Bundesgericht fest, dass in Bezug auf "altrechtliche" Gutachten sinngemäss wie in BGE 137 V 210 vorzugehen sei. Nach diesem Entscheid würden gemäss altem Verfahrensstand eingeholte Gutachten nicht per se ihren Beweiswert verlieren. Vielmehr sei im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesgericht standhalte. In sinngemässer Anwendung auf die nunmehr materiell-beweisrechtlich geänderten Anforderungen sei in jedem einzelnen Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen Sachverständigengutachten – gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten – eine schlüssige Beurteilung im Licht der massgeblichen Indikatoren erlauben würden oder nicht. Je nach Abklärungstiefe und -dichte könnte zudem unter Umständen eine punktuelle Ergänzung genügen (BGer-Urteil 9C\_492/2014 vom 3.6.2015 E. 8).
10.
10.1.
Dr. A diagnostizierte eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41). Er begründete nachvollziehbar, weshalb etwa keine anhaltende somatoforme Schmerzstörung (ICD-10 F45.40) oder keine einfache Schmerzverarbeitungsstörung vorliege. Weiter führte der Gutachter aus, beim Exploranden bestünden als Hauptklage diffuse, ausgeweitete Schmerzen im Bewegungsapparat, wegen derer er sich nicht mehr arbeitsfähig fühle. Das Ausmass der Schmerzen und die Überzeugung, nicht mehr arbeiten zu können, liessen sich durch die somatischen Befunde nicht hinreichend objektivieren, sodass eine psychische Überlagerung angenommen werden müsse.
Gemäss ICD-10 F45.41 stehen seit mindestens sechs Monaten bestehende Schmerzen in einer oder mehreren anatomischen Regionen, die ihren Ausgangspunkt in einem physiologischen Prozess oder einer körperlichen Störung haben, im Vordergrund des klinischen Bildes. Psychischen Faktoren wird eine wichtige Rolle für Schweregrad, Exazerbation oder Aufrechterhaltung der Schmerzen beigemessen, jedoch nicht die ursächliche Rolle für deren Beginn. Der Schmerz verursacht in klinisch bedeutsamer Weise Leiden und Beeinträchtigungen in sozialen, beruflichen oder anderen wichtigen Funktionsbereichen. Der Schmerz wird nicht absichtlich erzeugt oder vorgetäuscht (wie bei der vorgetäuschten Störung oder Simulation). Mit Blick auf die Angaben des Versicherten und die Ausführungen von Dr. A leuchtet dessen Diagnosestellung ein. So berichtete der Beschwerdeführer über seit Jahren bestehende lumbale Rückenschmerzen, welche sich nach kranial bis in den Nacken-Schultergürtel ausdehnen würden. Weiter spielten nach Aktenlage psychische Faktoren nicht die ursächliche Rolle für den Beginn der Schmerzen. Ihnen kommt aber zweifellos eine wichtige Rolle für das Schmerzempfinden zu.
Zu erwähnen ist im Übrigen, dass der Versicherte anlässlich der rheumatologischen Untersuchung entgegen der objektiven weitgehend normalen Bewegungsfähigkeit zum Teil mit ausgeprägter lautstarker Artikulation Schmerzen bei allen Bewegungsprüfungen beklagt habe. Diese Beschwerden seien jedoch unter Ablenkung sehr rasch regredient gewesen. Aus älteren Aktenstücken geht eine deutliche Aggravation mit allenfalls einem zielgerichteten Vortäuschen von Beeinträchtigungen (vgl. Gutachten von Dr. med. B, FMH Psychiatrie und Psychotherapie, vom 5.3.2004) bzw. ein demonstratives Verhalten (vgl. Arztbericht von Dr. med. C, FMH Neurochirurgie, vom 11.9.2008) hervor. Die Fachpersonen der BEFAS, Stiftung Brändi in Z, vermuteten, dass der Versicherte die psychische Behinderung, so wie sie bei seinen Brüdern vorliege, ganz bewusst und affirmativ ins Feld geführt habe, um nicht gefordert zu werden (vgl. Kurzbericht vom 12.6.2002). In der Luzerner Höhenklinik Montana wurde eine Diskrepanz zwischen den objektiven Befunden und den Klagen des Patienten mit Anhaltspunkten für ein gesteigertes Krankheits- und Schmerzgebaren festgestellt (vgl. Bericht vom 4.6.2001). Der Hausarzt des Versicherten, Dr. med. D, FMH Allgemeine Innere Medizin, gab in einem undatierten Arztbericht (Eingang bei der IV-Stelle am 5.6.2013) an, der Patient sei auf seinen Status fixiert, er lehne zuerst alles ab, lenke dann aber teilweise ein. Daraus kann zwar – zumindest aktuell – kein Ausschlussgrund im Sinn von BGer-Urteil 9C\_492/2014 vom 3. Juni 2015 E. 2.2.2 abgeleitet werden, der eine rechtserhebliche Gesundheitsschädigung a priori ausschliessen würde. Immerhin werden die Schmerzangaben des Beschwerdeführers dadurch aber in Bezug auf die Intensität relativiert.
10.2.
Betreffend den Indikator "Behandlungs- und Eingliederungserfolg bzw. -resistenz" ist festzuhalten, dass der Beschwerdeführer ca. um 2002 während zwei Jahren in psychiatrischer Behandlung war. Gemäss Bericht von Dr. C vom 11. September 2008 sind die bisherigen Therapieversuche wie Heilgymnastik, Wasser, Antirheumatika oder Analgetika gescheitert. In den letzten Jahren hat sich der Versicherte aber weder einer Psychotherapie noch einer konsequenten Schmerztherapie unterzogen. Auch nahm er seit längerem keine Medikamente mehr ein. Sowohl der rheumatologische als auch der psychiatrische Gutachter halten die regelmässige Einnahme eines sedierenden und schmerzmodulierenden Antidepressivums auf die Nacht jedoch für hilfreich. Dr. A hielt explizit fest, dass die therapeutischen Möglichkeiten noch nicht ausgeschöpft seien. Die vom Beschwerdeführer anlässlich der rheumatologischen Untersuchung vordemonstrierten Kräftigungsübungen, die er zu Hause ausführe, sind im Übrigen gemäss Gutachter Dr. med. E, FMH Rheumatologie, eindeutig insuffizient.
Nach dem Gesagten kann vorliegend nicht von einem definitiven Scheitern einer indizierten, lege artis und mit optimaler Kooperation des Versicherten durchgeführten Therapie ausgegangen werden.
10.3.
Was die Komorbiditäten betrifft, so sind zunächst die rheumatologischen Diagnosen zu berücksichtigen. Die aktuellen konventionellen Röntgenbilder ergaben insgesamt keine relevanten ossären osteochondrotischen Veränderungen im lumbosakralen Übergang. Die früheren bildgebenden Abklärungen des Achsenskeletts ergaben degenerative diskopathische Veränderungen zervikal wie auch lumbal, jedoch ohne eine eindeutige Kompression von neuralen Strukturen. Insgesamt scheine – so Dr. E – die vom Exploranden seit vielen Jahren beklagte lumbal- und zervikalbetonte panvertebrale Schmerzsymptomatik nur partiell somatisch orientiert erklärbar zu sein. Hingegen könne die medial lokalisierte Schmerzsymptomatik am rechten Knie aufgrund der degenerativen Meniskusläsion medial somatisch gut nachvollzogen werden. Hier seien weitere therapeutische Massnahmen sicherlich indiziert. Unter Berücksichtigung der muskulären Dekonditionierung und der dokumentierten degenerativen diskopathischen HWS- und LWS-Veränderungen bestehe aus heutiger Sicht eine 75%ige Arbeits- und Leistungsfähigkeit. Damit besteht aus rheumatologischer Sicht in Bezug auf die Rückenschmerzen lediglich partiell ein organischer Gesundheitsschaden. Die Meniskusläsion schränkt den Versicherten in einer angepassten Tätigkeit (wie z.B. als Taxifahrer) ebenfalls nicht wesentlich ein.
Die otorhinolaryngologischen Diagnosen haben keine Auswirkung auf die Arbeitsfähigkeit als Taxifahrer, weshalb darin keine rechtserhebliche Komorbidität zu erblicken ist.
Aus psychiatrischer Sicht wurde neben der chronischen Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41) keine weitere Diagnose gestellt. Insbesondere wurde das Vorliegen einer depressiven Störung verneint. Dem kann gefolgt werden, setzte sich Dr. A doch mit dem anderslautenden Bericht des Hausarztes Dr. D vom Juni 2013 auseinander. Er führte überzeugend aus, dass aktuell depressive Symptome nicht genügend deutlich ausgeprägt gewesen seien für die Diagnose einer depressiven Störung. Der Explorand habe über Schmerzen geklagt. Eine deutlich fehlende Freudeempfindungsfähigkeit, deutliche Konzentrationsstörungen, eine deutliche Appetitverminderung und deutliche Schlafstörungen, die unabhängig von den Schmerzen seien, hätten gefehlt. Demnach besteht vorliegend keine psychische Komorbidität.
Insgesamt ist somit lediglich von einer teilweisen organischen Komorbidität auszugehen. Es fehlt somit an einer schweren somatischen Erkrankung. Ein zusätzlicher schwerer psychischer Gesundheitsschaden liegt ebenfalls nicht vor.
10.4.
Des Weiteren kann unter Bezugnahme auf den Komplex "Persönlichkeit" konstatiert werden, dass gemäss psychiatrischer Exploration die komplexen Ich-Funktionen wie die Urteilsfindung, die Kontaktfähigkeit, die Affektsteuerung, der Antrieb, die Selbstwertregulation und die Abwehrmechanismen nicht auffällig waren. Deutlich auffällige Persönlichkeitszüge für die Achse-2-Diagnose einer Persönlichkeitsstörung mit Einfluss auf die Arbeitsfähigkeit wurden ebenfalls verneint.
10.5.
In Bezug auf den Komplex "Sozialer Kontext" ist darauf hinzuweisen, dass die Beschwerden des Versicherten von psychosozialen Faktoren mitunterhalten werden. Der psychiatrische Gutachter der Abklärungsstelle F nannte etwa den Migrationshintergrund, die finanzielle Abhängigkeit von seiner neben den häuslichen Arbeiten vollzeitig berufstätigen Ehefrau sowie das fortgeschrittene Alter. Diese Faktoren würden im Rahmen der psychischen Überlagerung eine Rolle spielen. Hinzu kommt eine jahrelange Abwesenheit vom Arbeitsmarkt.
Die intakten innerfamiliären Beziehungen können demgegenüber als Ressource des Beschwerdeführers betrachtet werden.
10.6.
Im Sinn einer Konsistenzprüfung fällt auf, dass der Beschwerdeführer immerhin gewisse Haushaltstätigkeiten ausübt, was in einem gewissen Widerspruch dazu steht, dass er sich für sämtliche Tätigkeiten in der Arbeitswelt für arbeitsunfähig hält. Gemäss Gutachten der Abklärungsstelle F gehe er einkaufen für das Mittagessen und das Frühstück, wobei er nicht alles auf einmal nach Hause tragen könne. Weiter helfe er beim Geschirr abwaschen. Allerdings wird auch ein gewisser sozialer Rückzug von Kollegen beschrieben. Zudem fahre er selber nicht mehr Auto. Allerdings ist die Einschränkung des Aktivitätenniveaus in den privaten Lebensbereichen auch auf eine gewisse Selbstlimitierung zurückzuführen, welche gemäss Gutachter der Abklärungsstelle F mit der chronischen Schmerzstörung naturgemäss einhergehe.
Weiter ist darauf hinzuweisen, dass aktenkundig keine konsequente Schmerztherapie angegangen wurde und der Beschwerdeführer auch keine Analgetika einnimmt, was gegen einen schweren Leidensdruck spricht.
10.7.
Unter Berücksichtigung sämtlicher Indikatoren und der gesamten Umstände ergibt sich, dass dem Beschwerdeführer die Überwindung seiner Beschwerden – soweit sie nicht organisch ausgewiesen sind – dank der vorhandenen Ressourcen und der noch bestehenden Therapiemöglichkeiten zumutbar ist (vgl. Art. 7 Abs. 2 ATSG).
11.
Die Beurteilung der Abklärungsstelle F, wonach die bisherige Tätigkeit als Taxifahrer weiterhin zu 75 % (ganztägig umsetzbar) möglich ist, hält nach dem Gesagten auch vor der neuen Rechtsprechung zu den psychosomatischen Beschwerdebildern stand (vgl. E. 9.6). Damit kann in antizipierter Beweiswürdigung von weiteren Abklärungen abgesehen werden (vgl. E. 2.5).
12.
Im Licht der vorangehenden Erwägungen ist ein Rentenanspruch bereits deshalb zu verneinen, da bei einer durchschnittlich 25%igen Arbeitsunfähigkeit das Wartejahr nach Art. 28 Abs. 1 lit. b des Bundesgesetzes über die Invalidenversicherung (IVG; SR 831.20) gar nie erfüllt war. Aber auch eine Prüfung der erwerblichen Auswirkungen der somatischen Einschränkung macht deutlich, dass vorliegend kein rentenbegründender Invaliditätsgrad besteht. Denn vor dem Hintergrund, dass dem Beschwerdeführer die bisherige Tätigkeit als Taxifahrer weiterhin zugemutet werden kann, ist nicht zu beanstanden, dass die IV-Stelle von der medizinisch-theoretischen Arbeitsfähigkeit auf den Invaliditätsgrad geschlossen hat. Der Invaliditätsgrad stimmt grundsätzlich mit der prozentualen Einschränkung der Arbeitsfähigkeit überein, wenn, wie hier, für das Validen- und Invalideneinkommen der gleiche Ansatz gilt, weil eine teilinvalide Person in der angestammten Beschäftigung bestmöglich eingegliedert ist bzw. wäre (vgl. BGer-Urteil 9C\_22/2014 vom 18.2.2014 E. 3.1; vgl. auch BGer-Urteil 9C\_844/2013 vom 18.2.2014 E. 3.1).
Soweit der Beschwerdeführer aufgrund des fortgeschrittenen Alters und der mangelnden Ausbildung die Verwertbarkeit der Restarbeitsfähigkeit auf dem ausgeglichenen Arbeitsmarkt in Frage stellt, ist ihm zu entgegnen, dass er seine Arbeitsfähigkeit bisher aus invaliditätsfremden Gründen nicht verwertet hat. Mit dem Hinweis auf sein Alter vermag er deshalb nichts zu seinen Gunsten abzuleiten. Im Übrigen spricht ein Alter von 61 Jahren und rund 3 Monaten (im Zeitpunkt der Begutachtung in der Abklärungsstelle F; zum massgebenden Zeitpunkt vgl. BGE 138 V 457 E. 3.2 ff.) nicht von vornherein gegen die Verwertbarkeit der Restarbeitsfähigkeit. Dies gilt erst recht, wenn, wie hier, die bisherige Tätigkeit weiterhin zumutbar ist.