Aus den Erwägungen:
b) In den Akten finden sich Arztberichte des Hausarztes Dr. med. E, Allgemeine Medizin FMH, und der Rheumatologen Dr. med. F und Dr. med. G, ein Bericht der Klinik H sowie Einträge im Verlaufsprotokoll unter dem Titel "bcd - Regionalärztlicher Dienst", die weder unterzeichnet sind noch geht aus ihnen hervor, welche ärztliche Qualifikationen die Arztperson hat.
Unter Hinweis auf das IV-Rundschreiben Nr. 200 vom 18. Mai 2004, Art. 59 Abs. 2 IVG, Art. 49 und 50 IVV sowie das Kreisschreiben über das Verfahren in der Invalidenversicherung, Rz. 2036ff., macht die IV-Stelle geltend, die fachliche Aufsicht des RAD liege beim Bundesamt für Sozialversicherung und sei somit gewährleistet. Da der RAD aus qualifizierten Versicherungsmedizinern bestehe, sei er auch in der Lage, entsprechende Beurteilungen zum medizinischen Sachverhalt (auch aufgrund der Akten) abzugeben. Die IV habe ihre Entscheide unter Berücksichtigung der Beurteilungen des RAD zu erlassen.
c) Gemäss Art. 29 Abs. 2 BV haben die Parteien Anspruch auf rechtliches Gehör. Das rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung einer Person eingreift. Dazu gehört insbesondere deren Recht, sich vor Erlass des in ihre Rechtsstellung eingreifenden Entscheides zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (BGE 127 I 56 Erw. 2b mit Hinweisen). Nach der Rechtsprechung kann eine - nicht besonders schwerwiegende - Verletzung des rechtlichen Gehörs als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie die Rechtslage frei überprüfen kann. Die Heilung eines - allfälligen - Mangels soll aber die Ausnahme bleiben (BGE 126 V 132 Erw. 2b mit Hinweisen).
d) Nach Art. 57 IVG ist es unter anderem die Aufgabe der IV-Stelle, die Eingliederungsfähigkeit der versicherten Person abzuklären, die Invalidität und die Hilflosigkeit zu bemessen und über Leistungen zu verfügen. Die IV-Stellen sind somit verantwortlich für die Durchführung der Abklärung und für den Entscheid über das Leistungsbegehren (vgl. Art. 57 Abs. 1 IVG und Botschaft zur 4. IVG-Revision BBl 2001 S. 3259 2. Abschnitt). Hierfür stehen der IV-Stelle, seit dem am 1. Januar 2004 in Kraft getretenen Art. 59 Abs. 2 IVG, zur Beurteilung der medizinischen Anspruchsvoraussetzungen interdisziplinär zusammengesetzte Regionale ärztliche Dienste zur Verfügung. Diese unterstützen die IV-Stellen, indem sie die medizinischen Aspekte der Anspruchsvoraussetzungen bei IV-Leistungsgesuchen beurteilen. Eines der wesentlichen Elemente des RAD ist seine interdisziplinäre Zusammenarbeit. Die Beurteilung des RAD erfolgt in seiner Gesamtheit im Sinne eines Dienstleistungszentrums für die IV-Stelle. Dabei unterstehen zwar die RAD der direkten fachlichen Aufsicht des BSV (was sich vor allem in allgemeinen Weisungen auswirkt), sie sind aber in ihrem medizinischen Entscheid im Einzelfall unabhängig. Zur Prüfung der medizinischen Anspruchsvoraussetzungen sind die Regionalärztlichen Dienste in der Wahl der geeigneten Prüfungsmethoden im Rahmen ihrer medizinischen Fachkompetenz und der allgemeinen fachlichen Weisungen des BSV unabhängig (Art. 49 Abs. 1 IVV). Zum einen kann der RAD bei Bedarf selber ärztliche Untersuchungen an Versicherten vornehmen, wobei diese gemäss Art. 49 Abs. 2 IVV schriftlich zu dokumentieren sind. Den Versicherten ist eine Kopie der Untersuchungsergebnisse zuzustellen und für jeden geprüften Fall ist der IV-Stelle ein schriftlicher Bericht abzugeben. Zum andern hat der RAD den IV-Stellen für jeden geprüften Fall einen schriftlichen Bericht mit den notwendigen Angaben zuzustellen. Dieser hat die Ergebnisse der medizinischen Prüfung und eine Empfehlung zur weiteren Bearbeitung des Leistungsbegehrens aus medizinischer Sicht zu enthalten (Art. 49 Abs. 3 IVV).
Der Sozialversicherungsträger kann zur Beurteilung der medizinischen Anspruchsvoraussetzungen auch den Sachverstand von den bei ihm angestellten Ärzten in Anspruch nehmen. Dazu gehören seit langem die Kreisärzte der SUVA bzw. der Militärversicherung oder der Ärzte der Medizinischen Abteilung der SUVA. Auf die gleiche Stufe zu stellen sind die Ärzte und Ärztinnen des RAD in der IV, soweit sie Berichte im Sinne von Art. 49 Abs. 2 IVV erstellen. Die Berichte und Stellungnahmen von versicherungsinternen Ärzten und Ärztinnen dienen damit der Beschaffung medizinischer Beweismittel. Einem Untersuchungsbericht im Sinne von Art. 49 Abs. 2 IVV kann voller Beweiswert im Sinne eines fachärztlichen Zeugnisses bzw. Gutachtens zukommen, solange alle von der Rechtsprechung hierfür aufgestellten Bedingungen erfüllt sind (vgl. BGE 125 V 352 Erw. 3a; EVG-Urteil M. vom 15.12.2000, I 291/00, Erw. 1c). Dies setzt indessen voraus, dass in solchen Fällen auch der vollständige Name und die Fachqualifikation des untersuchenden Arztes bzw. der Ärztin genannt werden.
Der Bericht im Sinne von Art. 49 Abs. 3 IVV, den der RAD zu Handen der IV-Stelle erstellt, dient dieser bei deren weiteren versicherungsinternen Entscheidsfindung. Es handelt sich deshalb um eine Urkunde, deren Inhalt zur internen Meinungsbildung der IV-Stelle beiträgt. Jede Verwaltung ist berechtigt, zwecks interner Meinungsbildung Aktenstücke zu erstellen. Eine direkte Aussenwirkung solcher interner Akten ist zu verneinen. Bei den Einträgen des RAD im Verlaufsprotokoll gemäss Art. 49 Abs. 3 IVV handelt es sich um die Abgabe der Ergebnisse der medizinischen Leistungsprüfung und um die Empfehlung zur weiteren Dossierbehandlung zu Handen der IV-Stelle. Dabei geht es um einen versicherungsinternen Entscheidungsprozess. Aus diesem Grunde ist auch nicht zu beanstanden, dass die Berichte des RAD gemäss Art. 49 Abs. 3 IVV in Form eines Eintrages im Verlaufsprotokoll der IV-Stelle Luzern erfolgen. Die Nennung des vollen Namens bzw. der Facharzttitel der beteiligten RAD-Ärztinnen und -Ärzte ist dabei nicht notwendig. Auf diese Art und Weise produzierte Aktenstücke hat das Gericht im Rahmen der freien Beweiswürdigung (Art. 61 lit. c ATSG) zu würdigen. Mit diesem Vorgehen wird das rechtliche Gehör des Beschwerdeführers nicht verletzt, weshalb er mit seinen diesbezüglichen Einwendungen nicht durchdringt.