Aus den Erwägungen:
a) Das strittige Bauprojekt liegt in der Wohn- und Gewerbezone WG3. Gemäss Art. 6 Abs. 2 des Bau- und Zonenreglementes Z vom 8. Januar 2001 (BZR) sind in dieser Zone Gebäude mit einer Gebäudelänge von höchstens 30 m gestattet. Der Begriff der Gebäudelänge wird in § 44 PBV definiert. Gemäss dieser Bestimmung ist die Gebäudelänge die längere Seite des flächenkleinsten, die Gebäudegrundfläche umschreibenden Rechtecks (Abs. 1). Vorspringende Gebäudeteile zählen nur so weit zur Gebäudegrundfläche, als ihre Ausladung 1 m übersteigt; die nicht sichtbaren Untergeschosse bleiben unberücksichtigt (Abs. 2).
Mit den Instrumenten der Gebäudelänge und Gebäudebreite sollen die Ausmasse der Gebäudegrundfläche beschränkt werden können, etwa zur Erreichung einer kleinmassstäblichen Überbauung, Anpassung an bestehende empfindliche Bausubstanz, oder um den Durchblick zwischen Gebäuden zu erhalten (Fritzsche/Bösch, Zürcher Planungs- und Baurecht, 2. Aufl., Wädenswil 2000, S. 348). Bei der Gebäudelänge handelt es sich um einen nutzungsrelevanten Faktor, dem für die Erscheinung und Eingliederung einer Baute grosse Bedeutung zukommt. Insofern hat die Gebäudelänge erheblichen Einfluss auf den Zonencharakter (vgl. LGVE 1997 II Nr. 8). Andererseits ist die Gebäudelänge ein Gestaltungsmittel, das bei der Umsetzung der baulichen Verdichtung dienlich sein kann (Urteil V 07 66 vom 16.10.2007, E. 3g).
b/aa) Wie die Gebäudelänge zu bemessen ist, wird weder im BZR Z noch im PBG geregelt. Die Messweise ergibt sich aber (indirekt) aus der Begriffsdefinition von § 44 Abs. 1 PBV. Illustrativ ist zudem die entsprechende Skizze des Bau- und Verkehrsdepartementes zur Erläuterung des Planungs- und Baugesetzes und der Planungs- und Bauverordnung vom 1. September 2002. Die Gebäudelänge begrenzt den Baukörper auf seiner Längsseite. Während früher der Sinn der Festsetzung der Gebäudelänge vor allem im feuerpolizeilichen Schutz lag, stehen heute namentlich städtebauliche und ästhetische Aspekte im Vordergrund (Friedrich/ Spühler/Krebs, Bauordnung der Stadt Winterthur, Winterthur 1970, N 1 zu § 18). Wie das Verwaltungsgericht bereits in einem Urteil aus dem Jahr 1978 erkannte, geht es bei der Bestimmung der Gebäudelänge primär darum, lange, gleichsam stadtähnliche Häuserzeilen zu vermeiden und - wo planerisch geboten - eine aufgelockerte, offene Bauweise zu gewährleisten. In zweiter Linie schützt die Festlegung der Gebäudelänge auch private Interessen des Nachbars, indem lange Fassaden ohne Durchblick verhindert werden sollen (Urteil S. vom 18.8.1978 = LGVE 1978 II Nr. 8, nicht publizierte E. 5c/cc; Urteil V 99 69 vom 2.11.1999, E. 2b). Der Vorteil der Messweise gemäss § 44 PBV (längere Seite des flächenkleinsten Rechtecks, welches die auf den Erdboden projizierte Gebäudegrundfläche umschreibt) ist darin zu sehen, dass sie sowohl auf stark versetzte wie auch abgerundete Gebäudegrundrisse angewendet werden kann; sie führt auch aus der Optik der betroffenen Privaten zu einem nachvollziehbaren Resultat (Urteil V 99 187 vom 8.2.2000, E. 3b/cc). Bei der Bemessung der Fassadenlänge stellt - gleich wie bei der Gebäudelänge - die optische Erscheinung, d.h. die sichtbare Länge einer Baute, den Anknüpfungspunkt dar (Urteil V 03 116 vom 25.8.2004, E. 3c). In dem Zusammenhang bleibt ebenfalls auf § 122 Abs. 5 PBG hinzuweisen, welcher den Mehrlängenzuschlag bezüglich Grenzabstand bei Fassaden von mehr als 20 m regelt. Nach der Rechtsprechung des Verwaltungsgerichts liegt der Zweck dieser Bestimmung - nebst dem bereits erwähnten Sinn "Gewährleistung einer aufgelockerten, offenen Bauweise" - darin, lange Fassaden ohne Durchblick zu verhindern. Bei längeren und hohen Bauten seien grössere Abstände einzuhalten. Mit dem flexiblen System des Mehrlängenzuschlags soll der Zutritt von Luft, Licht und Sonne bestmöglich gewährleistet und die Erstellung von langen und hohen Bauten mit minimalen Abständen verhindert werden. Es entspreche dem Sinn dieser gesetzlichen Regelung, dass verschiedene Gebäudeteile, die nach aussen als eine geschlossene Baute in Erscheinung treten, für die Berechnung des Grenzabstands nur als eine gesamtheitliche Baute betrachtet würden (LGVE 1995 II Nr. 4 E. 4a, 1989 III Nr. 19 E. 6, je mit Hinweis; vgl. auch Urteil V 07 360 vom 17.9.2008, E. 3b). Diese Rechtsprechung, wonach Anbauten an bestehende Gebäude bei der Beurteilung der Gebäudelänge mitzuzählen sind, steht auch in Einklang mit der Praxis anderer Kantone (vgl. BVR 1987, S. 29, E. 4; Zaugg/Ludwig, Baugesetz des Kantons Bern, Band I, Bern 2007, Rz. 5 zu Art. 13).
bb) Aus der Definition der Gebäudelänge und der erörterten Rechtsprechung ergibt sich, dass es entgegen der Meinung der Beschwerdeführer unerheblich ist, ob der geplante Anbau mit Saalerweiterung und zwei Wohnungen als selbständig in Erscheinung tretender "Neubau" zu betrachten ist oder nicht. Ihre Auffassung, es sei nur die Gebäudelänge des Neubaus zu berücksichtigen, geht fehl. Würde dieser Argumentation gefolgt, könnte - wie die Vorinstanz zutreffend bemerkt - ein bestehendes Gebäude immer wieder um einen Neubau erweitert werden, ohne dass auf die zulässige maximale Gebäudelänge Rücksicht genommen werden müsste. Das würde zu einem völligen Aushebeln der öffentlich-rechtlichen Bauvorschriften über Baubegrenzungen führen und zur rechtsungleichen Behandlung von Baukomplexen, die von vornherein als einheitliches Gebäude konzipiert würden. Die Sichtweise der Beschwerdeführer widerspricht sowohl Sinn und Zweck von Art. 6 Abs. 2 BZR Z und § 44 PBV als auch der dazu ergangenen Rechtsprechung des Verwaltungsgerichts. Entscheidend ist nach dem Ausgeführten (E. 3b/aa vorstehend), dass die beiden Gebäudeteile, der bestehende Gasthof und der Erweiterungs- bzw. Neubau, zusammengebaut werden sollen. Wie die Planunterlagen deutlich zeigen, tritt von der optischen Wirkung ein längerer, zusammenhängender Gebäudekomplex in Erscheinung. Das streitbetroffene Restaurant, ein ländlicher Gasthof, soll durch zwei gegeneinander versetzte Kuben mit Dachterrasse und gedeckten Pergolas ergänzt werden. Das an das bestehende Gebäude angebaute Volumen enthält einen Saal mit Nebenräumen sowie eine eingeschossige 3-Zimmer-Wohnung. Das zweite Volumen beinhaltet eine zweigeschossige 6-Zimmer-Maisonette-Wohnung. Rechtsprechungsgemäss sind beide Gebäudeteile, der bestehende Altbau und der Neubau, für die Berechnung der Gebäudelänge klarerweise zusammenzurechnen. Gemäss den unbestrittenen Feststellungen der Vorinstanz in der Vernehmlassung beträgt die Gebäudelänge, einschliesslich der gedeckten und verglasten Terrasse rund 55 m (vgl. auch Situationsplan vom 19.11.2008, Massstab 1:500). Selbst bei der Variante "freistehend", wonach statt des direkten Anbaus der Neubaukomplex durch eine Zäsur von 1,2 m vom Altbau getrennt werden soll (rev. Pläne vom 8.5.2009), bilden der bestehende Bau und der Neubau von der optischen Wirkung ein zusammenhängendes Gebäude. Die Trennung von lediglich gut einem Meter ist im Vergleich zur gesamten Gebäudelänge beider Bauteile von 55 m kaum wahrnehmbar. Es ist daher der Vorinstanz zuzustimmen, dass auch bei der sog. "freistehenden" Variante beide Gebäudeteile für die Berechnung der Gebäudelänge zu berücksichtigen sind. Bei den vorliegenden Dimensionen würde der Gebäudekomplex die zulässige Gebäudelänge von 30 m um 25 m bzw. mehr als 80% übertreffen. Es bedarf keiner weiteren Erörterung, dass ein derart überdimensioniertes Gebäude nach den massgeblichen Bauvorschriften nicht zonenkonform ist. Überdies gliedert sich ein solches Bauvorhaben, das auf einer Geländerippe zu liegen käme, auch schlecht in das Ortsbild des Ortsteils Z ein, das durch deutlich kleinere Einzelbauten geprägt ist. Das strittige Bauprojekt ist somit bereits unter dem Gesichtswinkel der Gebäudelänge nicht bewilligungsfähig.
c) Die Beschwerdeführer bringen ferner vor, selbst wenn das Verwaltungsgericht wider Erwarten zur Auffassung gelangen sollte, dass kein Neubau vorliege, sei im Rahmen einer Verhältnismässigkeitsprüfung die Baubewilligung zu erteilen. Sie berufen sich in dem Zusammenhang auf Art. 26 BV.
aa) Die Verweigerung der nachgesuchten Bauerlaubnis stellt eine Eigentumsbeschränkung dar, die nur zulässig ist, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist (Art. 36 BV). Das Verhältnismässigkeitsprinzip besagt, dass die Grundrechtseinschränkung zur Erreichung des angestrebten Ziels geeignet und erforderlich sein muss und dem Betroffenen in Anbetracht der Schwere der Grundrechtseinschränkung zumutbar ist (BGE 135 I 176 E. 8.1). Ein schwerer Eingriff in die Eigentumsgarantie liegt in der Regel vor, wenn Grundeigentum zwangsweise entzogen wird, oder wenn durch Verbote und Gebote der bisherige oder künftig mögliche bestimmungsgemässe Gebrauch des Grundstücks verunmöglicht oder stark erschwert wird (BGE 124 II 540 E. 2a; 121 I 120 E. 3b/bb; BG-Urteil 1P. 236/2000 vom 10.8.2000, E. 3a je mit Hinweisen). Im Falle einer nicht den Bauvorschriften bzw. der Baubewilligung entsprechenden Baute kann sodann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt (BGE 132 II 35 E. 6; BG-Urteil 1C_551/2009 vom 15.4.2010, E. 5.1, je mit Hinweisen).
bb) Die Beschwerdeführer beziehen sich einzig auf den Grundsatz der Verhältnismässigkeit und erachten den angefochtenen Entscheid aus diesem Grunde als verfassungswidrig. Sie tragen vor, ein Blick in diverse Bau- und Zonenreglemente von Gemeinden des Kantons Luzern zeige, dass in der Regel Ausnahmen von der festgelegten Gebäudelänge gemacht würden, wenn die Gebäude gestaffelt seien. Beim vorliegenden Bauprojekt handle es sich um ein stark gestaffeltes Gebäude in der Wohn- und Gewerbezone, weshalb die Verweigerung einer Ausnahmebewilligung bereffend die Gebäudelänge unverhältnismässig sei.
Davon kann mitnichten die Rede sein. Die Abweisung des Baugesuchs wegen Überschreitung der zulässigen maximalen Gebäudelänge beruht auf einer klaren Bauvorschrift des BZR Z. Es besteht ein gewichtiges öffentliches Interesse daran, dass die geltenden Bauvorschriften eingehalten werden. Eine Ausnahmebewilligung hat der Gemeinderat nicht erteilt. Daran ändert nichts, dass in den Bau- und Zonenreglementen anderer Gemeinden bezüglich Gebäudelänge Ausnahmebewilligungen durch den Gemeinderat gestattet sind. Die Beschwerdeführer verkennen, dass sie keinen Rechtsanspruch auf Erteilung einer Ausnahmebewilligung bezüglich Gebäudelänge haben. Dazu müssen vielmehr besondere Verhältnisse vorliegen, die eine abweichende Regelung als sinnvoll erscheinen lassen. Dass dies der Fall wäre, wird von den Beschwerdeführern nicht dargetan. Insbesondere ist es nicht Aufgabe der Vorinstanz, den Beschwerdeführern aufzuzeigen, wie sie ihr Grundstück unter Einhaltung der Bauvorschriften nützen könnten. Eine Ausnahmebewilligung kommt angesichts der massiven Überschreitung der zulässigen maximalen Gebäudelänge denn auch nicht in Frage. Dass der Gemeinderat keine Ausnahmebewilligung erteilt hat, verstösst daher nicht gegen das Verhältnsimässigkeitsprinzip (vgl. auch BG-Urteil 1C_416/2007 vom 3.10.2008, E. 3.4). Die Voraussetzungen für eine Verletzung der Eigentumsgarantie liegen nicht vor, können doch die Beschwerdeführer ihre Liegenschaft weiterhin wie bisher nutzen. Kommt noch hinzu, dass ein den geltenden kommunalen Bauvorschriften angepasster Neubau auch realisierbar ist. Der Bauabschlag stellt daher keinen schweren Eingriff in die Eigentumsrechte der Beschwerdeführer dar. Die Rüge ist unbegründet.