Aus den Erwägungen:
3.
3.1.
Die Beschwerdeführer rügen eine unrichtige Feststellung des gewachsenen Terrains. Die Vorinstanz habe zu Unrecht auf einen Terrainverlauf abgestellt, welcher gestützt auf einen Plan aus dem Jahr 1952 rekonstruiert worden sei. Massgebend seien die ursprünglichen Terrainverhältnisse vor den Aufschüttungen um das Jahr 1950. Bei der südwestlichen Gebäudeecke des bestehenden Hauses auf dem Grundstück Nr. x, GB Z, befinde sich das ursprüngliche Terrain maximal auf 503,80 m.ü.M. Unter Berücksichtigung des massgebenden Terrains rage das 1. Untergeschoss mit mehr als zwei Dritteln seiner Aussenflächen aus dem ausgemittelten gewachsenen oder tiefer gelegten Terrain hinaus und sei daher als Vollgeschoss zu qualifizieren. Das projektierte Bauvorhaben umfasse daher mindestens vier Vollgeschosse und sei in der Zone W3 nicht bewilligungsfähig.
3.2.
Die Vorinstanz erwog, aus dem aktuellen Situationsplan 1:1000, Raumdatenpool des Kantons Luzern resp. Geoinformation des Kantons Luzern könne aufgrund der vorliegenden Kurvendaten abgelesen werden, dass insbesondere im Bereich der Wohnhäuser Y-Hof 1 und 2, X-Strasse 3 - 5 und des Pausenplatzes der Schulanlage W massive Terraineinschnitte in das damalige Terrain vorgenommen worden seien und der ursprüngliche Terrainverlauf geändert worden sei. Aus den damaligen Baubewilligungen hätten keine gewachsenen Terrains entnommen werden können. Die beiden Kurvenpläne aus den Jahren 1952 und 1961 seien identisch und es sei davon auszugehen, dass diese den damaligen Terrainverlauf massstäblich aufzeigen würden. Die beiden Kurvenpläne seien zudem annähernd identisch mit dem von den Einsprechern am 7. Dezember 2015 eingereichten Situationsplan 1:5000 (gedruckt 4.12.2015) aus dem Geoportal der Schweizerischen Eidgenossenschaft. Die Höhenkurven aus den Jahren 1952 und 1961 seien interpoliert und auf die Plangrundlagen des Baugesuchs übertragen worden. Aus den vorliegenden Grundlagen könne entnommen werden, dass die Höhenkurven korrekt übertragen worden seien und die Berechnungen den gesetzlichen Vorgaben entsprechen würden. Die Vorinstanz gelangte zum Ergebnis, dass es sich beim umstrittenen 1. Untergeschoss tatsächlich um ein Untergeschoss im Sinn von § 138 Abs. 1 Anhang des Planungs- und Baugesetzes (PBG; SRL Nr. 735) handle.
4.
4.1.
Die geänderte Bestimmung zur Berechnung der Gesamthöhe von Gebäuden (§ 139 PBG) ist für die Gemeinde Z noch nicht in Kraft, womit deren Fassung im Anhang zum PBG massgebend ist. Demnach ergibt sich die Gebäudehöhe grundsätzlich aus der Zahl der zulässigen Vollgeschosse (§ 139 Abs. 1 i.V.m. § 138 Anhang PBG). Gemäss dem für die Gemeinde Z noch geltenden § 138 Abs. 1 Anhang PBG ist bei der Berechnung der Anzahl Vollgeschosse das Untergeschoss dann mitzurechnen, wenn es mit mehr als zwei Dritteln seiner Aussenfläche aus dem ausgemittelten gewachsenen oder tiefer gelegten Terrain hinausragt. Weitere Untergeschosse dürfen nicht sichtbar sein. Ausgenommen sind die Zu- und Wegfahrten von Einstellhallen. Mit der Festlegung der Anzahl Vollgeschosse wird die zulässige Höhe der Bauten begrenzt. Die Berechnungsvorschrift, wann ein Untergeschoss als Vollgeschoss mitzurechnen ist, dient dabei vor allem der Festlegung der Höhenlage des Hauptgebäudes (Urteil des Kantonsgerichts 7H 2014 324 vom 16.3.2016 E. 13.1.2). Stimmt die Grundfläche des untersten Geschosses nicht mit derjenigen der Hauptbaute überein, ist bei der Berechnung der Vollgeschosszahl gemäss § 138 Abs. 1 Anhang PBG in erster Linie auf das eigentliche Untergeschoss, also auf das unter dem Hauptbau liegende Geschoss, abzustellen. Dabei ist für die Berechnung der Abwicklung der Aussenflächen von einem virtuellen Untergeschoss auszugehen, das aufgrund der Projektion der Hauptfassaden festzulegen ist (LGVE 2004 II Nr. 14 E. 3c).
4.2.
Das Baugrundstück liegt gemäss Zonenplan der Gemeinde Z in der Wohnzone W3, in welcher maximal drei Vollgeschosse zulässig sind (Art. 8 Abs. 2 Bau- und Zonenreglement [BZR]). Geplant ist ein Mehrfamilienhaus, welches drei Obergeschosse und zwei Untergeschosse umfassen soll. Das Untergeschoss weist einen erheblich grösseren Grundriss auf als die darüber liegenden Hauptwohngeschosse. Für die Berechnung der Aussenflächen gemäss § 138 Abs. 1 Anhang PBG ist deshalb nach der dargelegten Rechtsprechung auf das virtuelle Untergeschoss abzustellen, das dem Grundriss des darüber liegenden Vollgeschosses entspricht. Den Baugesuchsunterlagen liegt eine Berechnung mit Plan bei, die zeigen soll, welche Flächen des 1. Untergeschosses unter respektive über dem Terrain liegen. Danach betrage die als Referenzfläche dienende Fassadenabwicklung des Hauptgeschosses insgesamt 262,07 m2. Mit einer Fassadenabwicklung von total 110,87 m2 liege das 1. Untergeschoss zu mehr als einem Drittel unterhalb des Terrains.
4.3.
Das Verwaltungsgericht (heute Kantonsgericht) hatte sich verschiedentlich mit der Frage des gewachsenen Terrains zu befassen (vgl. LGVE 2009 II Nr. 12 E. 4c, 2001 II Nr. 19, 1993 II Nr. 3; Urteile des Verwaltungsgerichts Luzern V 11 184/185 vom 31.7.2012 E. 6a und V 01 302 vom 16.1.2003 E. 6a). Gemäss dieser Praxis entspricht das gewachsene Terrain grundsätzlich dem natürlichen Geländeverlauf. Falls auf dem Grundstück schon verschiedentlich Aufschüttungen vorgenommen wurden, gilt als natürlich gewachsenes Terrain in erster Linie diejenige Höhe, die bei früheren Bauarbeiten in genehmigten Bauplänen (als solches) festgelegt worden ist. D.h. massgeblich ist nicht das neue gestaltete und bewilligte, sondern das aus den bewilligten Plänen ersichtliche ursprüngliche Terrain (Urteil des Verwaltungsgerichts Luzern V 01 302 vom 16.1.2003 E. 6c). Wird indessen ein Gelände erstmals überbaut, gilt nach der Praxis des Regierungsrats derjenige Geländeverlauf als natürlich gewachsen, der seit mindestens zehn Jahren ohne Aufschüttungen oder Abgrabungen bestanden hat (LGVE 1989 III Nr. 20). Das Verwaltungsgericht (heute Kantonsgericht) hat sich ebenfalls für eine zeitliche Schranke ausgesprochen, ohne sich jedoch in Bezug auf deren Dauer endgültig festzulegen. Immerhin hat es Abklärungen des Terrainverlaufs über einen Zeitraum von 20 Jahren hinweg als genügend erachtet (LGVE 1993 II Nr. 3 E. 2c). Es muss mithin nicht über Jahrzehnte hinweg nachgeforscht werden, ob irgendwann einmal eine Terrainveränderung vorgenommen worden ist. Immerhin sind auch weiter als 20 Jahre zurückliegende Aufschüttungen beachtlich, wenn dafür klare Grundlagen vorhanden sind (zum Ganzen: LGVE 2013 IV Nr. 5 E. 3a; Urteil des Verwaltungsgerichts Luzern V 03 271 vom 25.5.2004 E. 4b). Entscheidend ist allein, ob diese Grundlagen eine gesicherte Auskunft über diejenige Höhe über Meer geben, die bei früheren Bauarbeiten festgelegt worden und damit als gewachsenes Terrain im oben dargelegten Sinn zu qualifizieren ist. Dabei kann auch auf fachgerechte Erhebungen eines beigezogenen Sachverständigen abgestellt werden; dies gilt insbesondere dann, wenn nicht anhand von früheren genehmigten Bauplänen die Höhe des gewachsenen Terrains zweifelsfrei nachgewiesen werden kann (LGVE 2013 IV Nr. 5 E. 3b; vgl. Urteil des Verwaltungsgerichts Luzern V 11 184/185 vom 31.7.2012 E. 6). Zu ergänzen ist, dass der sich aus solchen Unterlagen ergebende Terrainverlauf nicht detailliert zu übernehmen ist. Wie auch § 122 Abs. 4 Anhang PBG vorsieht, sind grössere Unebenheiten im Terrain auszumitteln. Mit dem Abstellen auf das ursprünglich gewachsene Terrain soll verhindert werden, dass ein Grundeigentümer sein Grundstück aufschüttet, um die Höhenlage von künftigen Bauten zu Lasten von Nachbargrundstücken verbessern zu können. Zudem könnten damit unerwünschte Veränderungen des Orts- und Landschaftsbilds entstehen (LGVE 2009 II Nr. 12 E. 4c; zum Ganzen: Urteil des Kantonsgerichts Luzern 7H 14 223 vom 20.1.2016 E. 5.3 mit weiteren Hinweisen).
4.4.
Vorliegend geht es nicht um die erstmalige Überbauung des Grundstücks, sondern es soll auf einem bereits mit einem Wohnhaus überbauten Grundstück ein neues Mehrfamilienhaus realisiert werden. Im Sinn der vorstehend zitierten Rechtsprechung kann daher für die Bestimmung des gewachsenen Terrains nicht ohne Weiteres auf die heute bestehende Terrainlinie abgestellt werden. In erster Linie gilt diejenige Höhe über Meer als gewachsenes Terrain, die bei früheren Bauarbeiten in genehmigten Plänen festgelegt worden ist. Nach Angaben der Parteien sowie der Vorinstanz sind für das Baugrundstück keine Planunterlagen von früheren Bauvorhaben vorhanden, anhand welcher der Verlauf des gewachsenen Terrains auf dem Baugrundstück eruiert werden könnte.
4.5.
4.5.1
Es gilt den Verlauf des gewachsenen Terrains auf andere Weise festzustellen. In der Baubewilligung für die Bauausführung als verbindlich erklärt wurden der Situationsplan, die Grundrisspläne, der Schnittplan sowie der Fassadenplan vom 10. Juli 2015. Die Vorinstanz ist somit der Auffassung, das in diesen Plänen eingezeichnete gewachsene Terrain sei massgeblich. Der Beschwerdegegner hat für die Darstellung des darin eingezeichneten gewachsenen Terrains nach eigenen Angaben auf den Plan mit der handschriftlichen Überschrift "Ausschnitt Höhenkurvenplan 1952 Geoportal Luzern" abgestellt. Dem Höhenkurvenplan von 1952 können Linien entnommen werden, die allenfalls das damals gewachsene Terrain wiedergeben. Ausgehend davon ist ersichtlich, dass es sich beim Bereich des Baugrundstücks um nach Süden bzw. Südosten hin ansteigendes Gelände handelte und etwa im Bereich der nordwestlichen Grundstücksgrenze des beschwerdegegnerischen Grundstücks die Höhenkurve von 500 m.ü.M. verlief.
4.5.2.
Die Beschwerdeführer machen geltend, die Herkunft der Pläne mit den Bezeichnungen "Ausschnitt Höhenkurvenplan 1952" und "Ausschnitt Höhenkurvenplan 1961" sei nicht erstellt. Der Beschwerdegegner beschränkt sich im Beschwerdeverfahren auf die Behauptung, dass die von ihm zu den Akten gereichten Höhenkurvenpläne aus den Jahren 1952 und 1961 bei der Dienststelle Raum und Wirtschaft (rawi) archiviert seien. Für seine Behauptung führt er weder Belege an noch finden sich solche in den vorinstanzlichen Akten. Ein entsprechender Ausschnitt lässt sich ebenso wenig dem Geoportal des Kantons Luzern oder dem Geoportal des Bundes entnehmen. Mangels Nachvollziehbarkeit der Herkunft vermögen die Höhenkurvenpläne keine seriöse Entscheidgrundlage zu bilden. Darüber hinaus stellt sich die Frage nach der Genauigkeit der vom Beschwerdegegner ins Recht gelegten Höhenkurvenpläne, welche im Übrigen nicht mit einem Massstab versehen sind. Insbesondere ist die Einschätzung der Dienststelle rawi zu berücksichtigen, welche als kantonale Fachbehörde über eine besondere Sachkunde auf dem Gebiet der Geoinformation verfügt. Die Dienststelle rawi hielt auf Nachfrage der Beschwerdeführer betreffend die Verlässlichkeit der Höhenangaben des Plans aus dem Jahr 1952 mit Schreiben vom 9. Februar 2016 fest, dass ein Vergleich des Plans von 1952 mit den aktuellen Plangrundlagen systematische Lagedifferenzen von einigen Metern für die Höhenkurven zeige, was im steilen Gelände sofort auch einige Meter Höhendifferenz bedeute. Die Dienststelle rawi beurteilte die Zuverlässigkeit der Höhenkurven auf dem Plan von 1952 deshalb als sehr tief. Aufgrund dessen ist nicht dargetan, dass die Höhenlinien des Höhenkurvenplans aus dem Jahr 1952 die erforderliche Genauigkeit aufweisen, um den damaligen Terrainverlauf mit hinreichender Genauigkeit wiederzugeben. Des Weiteren ist nicht nachvollziehbar, wie der Beschwerdegegner den Verlauf des ursprünglich gewachsenen Terrains zwischen den im Höhenkurvenplan von 1952 eingezeichneten Höhenkurven ermittelt hat (vgl. Nachweis Unterterrain 1. UG Fassadenabwicklung).
Es steht demnach nicht fest, dass ausgehend von den aufliegenden Höhenkurvenplänen die in den genehmigten Plänen als ursprünglich gewachsenes Terrain eingezeichnete Linie den damaligen Verhältnissen entspricht. Mithin ist der Zustand des Terrains vor der Bebauung des Grundstücks lediglich gestützt auf den Höhenkurvenplan aus dem Jahr 1952 nicht zu eruieren. Daran vermag die Einschätzung der Vorinstanz, wonach die entsprechenden Linien mit denjenigen auf dem Plan mit der Beschriftung "Ausschnitt Höhenkurvenplan 1961" übereinstimmen, nichts zu ändern. Des Weiteren zeigt entgegen der Auffassung der Vorinstanz ein Vergleich des Höhenkurvenplans aus dem Jahr 1952 mit dem von den Beschwerdeführern zu den Akten gereichten Ausdruck aus dem Geoportal des Bundes erhebliche Abweichungen in der Darstellung des Höhenkurvenverlaufs. Zu berücksichtigen ist hierbei auch der bloss beschränkte Nutzen der historischen Kartenwerke, die sich betreffend Höhenbezugssystem und Kartierungsgenauigkeit von der späteren Landeskarte unterscheiden; ebenso kann bei diesen auch die Vegetation nur beschränkt berücksichtigt werden. Gesamthaft betrachtet lässt sich gestützt auf den Höhenkurvenplan von 1952 das ursprünglich gewachsene Terrain nicht ermitteln.
4.6.
Mit Eingabe vom 22. Dezember 2016 hat der Beschwerdegegner die von ihm veranlassten Abklärungen betreffend Terrainverlauf zu den Akten gegeben. Die Analyse stammt vom Ingenieurbüro A AG. Sie umfasst eine Beurteilung des Geländes anhand von Luftbildaufnahmen mit diversen Messpunkten. Unveränderte Messpunkte zwischen 1931 und 1957 sind mit photogrammetrischen Kontrollmessungen geprüft und daraus Rasterdaten ermittelt worden. Dem Bericht liegt auch ein neuer Berechnungsnachweis für das 1. Untergeschoss bei, der sich an den festgestellten Terrainveränderungen bzw. an der Gesamtanalyse der Luftbilder aus den Jahren 1931, 1957 und 2001 orientieren soll.
Wie es sich damit letztlich verhält, muss in diesem Verfahren offen bleiben. Zwar ist es zulässig, vor Kantonsgericht neue Tatsachen und Sachverhaltsfeststellungen vorzutragen. Freilich geht es hier nicht um bloss punktuelle Feststellungen; vielmehr handelt es sich um einen Bericht der Bauherrschaft, welche die Grundlage ihres ganzen Bauprojekts betrifft. Die Frage des relevanten Terrains – und damit auch die Gestaltung, die Masse und Zahl der zulässigen Geschosse – war bereits Gegenstand des Baubewilligungsverfahrens. Die damaligen Einsprecher und heutigen Beschwerdeführer beantragten denn auch zu dieser Frage die Einholung eines Gutachtens. Welches das mit Blick auf § 138 Abs. 1 Anhang PBG entscheidende Terrain ist und welche Folgen für die Projektierung und die Masse der Geschosse damit verbunden sind, darüber hat die Baubewilligungsbehörde zu befinden, und nicht das Kantonsgericht als Rechtsmittelinstanz. Dies gilt um so mehr, als es sich um einen von der Bauherrschaft angeforderten Bericht handelt und nicht um eine von der zuständigen Behörde veranlasste externe fachliche Einschätzung.
Die Vorinstanz wird daher – unter Gewährung des rechtlichen Gehörs der Betroffenen – prüfen müssen, ob sich anhand der neuen Abklärungen das gewachsene Terrain ermitteln lässt und ob auf die neuen Berechnungsnachweise samt Fassadenabwicklung vom 9. November 2016 abgestellt werden kann. Auch mit Blick auf die notwendige Gewährleistung des funktionalen Instanzenzugs geht es nicht an, dass das Kantonsgericht als Erstinstanz über den Aspekt des gewachsenen Terrains befindet.