Aus den Erwägungen:
b) Die B, welche als Kollektivtaggeldversicherung gemäss VVG Taggelder geleistet hat, ergänzt die Leistungen Dritter bis zur Höhe des versicherten Taggeldes des Versicherten, worunter auch Leistungen der Sozialversicherungen fallen. D.h. die B schuldet das Taggeld nur in Ergänzung zur Invalidenrente. Hätte die Invalidenversicherung ihre Rente von Beginn an ausbezahlt, hätte die B nur die Differenz zwischen der IV-Rente und dem vereinbarten Taggeld bezahlen müssen. Die Invalidenversicherung und die B hätten zusammen Leistungen in gleicher Höhe erbracht wie die B vorliegend tatsächlich geleistet hat. Die Gemeinde A hätte auch in diesem Fall die verbleibende Differenz zum Lohn des Versicherten bezahlen müssen. Ihre Lohnzahlungen im massgeblichen Zeitraum (Art. 85bis Abs. 3 IVV) sind daher nicht Vorschussleistungen im Sinn des Art. 85bis Abs. 1 IVV, welche im Hinblick auf die IV-Rente erbracht wurden, da sie unabhängig von dieser erfolgten. Nicht verlangt wäre jedoch, dass die Vorschussleistungen im Sinn von Art. 85bis Abs. 1 IVV in subjektiver Kenntnis eines Rentenbegehrens erfolgt wären (BGE 132 V 116f. E. 3.2.2).
Der Gemeinde A steht daher für den Zeitraum vom 1. Dezember 2008 bis 9. Dezember 2009 kein Drittauszahlungsanspruch zu (vgl. auch BG-Urteil 9C_806/2007 vom 20.10.2008, E. 3 betreffend Sozialhilfe).
b) Wie bereits dargelegt wurde, kann ein Arbeitgeber, der im Hinblick auf eine Rente der Invalidenversicherung Vorschussleistungen erbracht hat, verlangen, dass die Nachzahlung der Rente bis zur Höhe seiner Vorschussleistung verrechnet und an ihn ausbezahlt wird. Als Vorschussleistung gelten dabei freiwillige Leistungen, sofern die versicherte Person zu deren Rückgabe verpflichtet ist und sie der Auszahlung der Rentennachzahlung an die bevorschussende Stelle schriftlich zugestimmt hat (Art. 85bis Abs. 1 und Abs. 2 lit. a IVV).
Vorliegend fehlt es nach Lage der Akten indes an einer schriftlichen Zustimmung zur Ausrichtung der Rentennachzahlung an die Gemeinde A, weshalb die Drittauszahlung gestützt auf Art. 85bis Abs. 2 lit. a IVV ausser Betracht fällt.
c) Daneben kann ein Arbeitgeber die Ausrichtung der Rentennachzahlung verlangen, soweit er auf vertraglicher Grundlage Vorschussleistungen erbrachte und aus dem Vertrag ein eindeutiges Rückforderungsrecht infolge der Rentennachzahlung abgeleitet werden kann (Art. 85bis Abs. 1 und Abs. 2 lit. b IVV). Ein solches eindeutiges Rückforderungsrecht, welches nach der Rechtsprechung normativ festgehalten und gegen die Invalidenversicherung gerichtet sein muss (vgl. hierzu AHI 2003 S. 262f. E. 3a), lässt sich der besagten Vereinbarung "Abfederung Frühpensionierung" jedoch nicht entnehmen. Die Gemeinde A macht auch nicht geltend, es bestehe eine andere Grundlage, woraus ein eindeutiges Rückforderungsrecht gegenüber der Invalidenversicherung ableitbar wäre.
Nach dem Gesagten besteht auch keine unterschriftliche Zustimmung zur direkten Überweisung an den bevorschussenden Dritten, welche immer dann erforderlich ist, wenn sich aus Vertrag oder Gesetz zwar eine Pflicht zur Vorschussleistung, jedoch kein ausdrückliches direktes Rückforderungsrecht gegenüber der Invalidenversicherung ergibt (EVG-Urteil I 632/03 vom 9.12.2005, E. 3.3.1; Wegleitung über die Renten [RWL] in der Eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung, Rz. 10069).
Bei dieser Sachlage kann offenbleiben, ob die Zahlungen gemäss der Vereinbarung von Mai bzw. Juni 2008 ("Abfederung Frühpensionierung") Vorschussleistungen im Sinn des Art. 85bis IVV sind, oder ob es sich um eine Abgangsentschädigung bzw. um ein Geschenk handelt, wie der Beschwerdeführer in der Beschwerde bzw. in der Stellungnahme von Dezember 2010 geltend macht.
Dementsprechend ist die Verwaltungsgerichtsbeschwerde gutzuheissen und die angefochtene Verfügung aufzuheben. Da die Drittauszahlung zugunsten der B nach Lage der Akten zu Recht unbestritten blieb, ist die IV-Stelle anzuweisen, dem Beschwerdeführer von der Rentennachzahlung in der Höhe von Fr. x einen Betrag von Fr. x direkt auszurichten.
b) Anzufügen bleibt, dass es im vorliegenden Verfahren nur darum geht, ob die Voraussetzungen zur Drittauszahlung der Rentennachzahlung gemäss Art. 85bis IVV erfüllt sind. Hingegen prüft das Gericht im vorliegenden Verfahren nicht, ob der Beschwerdeführer der Gemeinde A die nachträglich ausbezahlten Invalidenrenten zurückzuerstatten hat, d.h. ob die im Verwaltungsverfahren geltend gemachte Rückerstattungsforderung (Bestand und Höhe) materiell rechtmässig ist (vgl. LGVE 2001 II Nr. 40 E. 5; vgl. auch EVG-Urteil I 632/03 vom 9.12.2005, E. 3.3.2 a.E.).