Aus den Erwägungen:
3.
3.1.
Die Beschwerdeführer machen eine Verletzung ihres Anspruchs auf rechtliches Gehör geltend. Der angefochtene Entscheid auferlege ihnen die Pflicht, bei baulichen Veränderungen auf ihrem Grundstück einen Architekturwettbewerb nach SIA durchzuführen. Da der Entscheid damit in ihre Eigentumsfreiheit eingreife und einen Eingriff von hoher Intensität darstelle, die Rechts- und Sachlage komplex sei und ein hoher Ermessensspielraum vorliege, seien hohe Anforderungen an die Begründungsdichte zu stellen. Der angefochtene Entscheid sei hingegen unklar sowie widersprüchlich begründet und gipfle in einer Art generell-abstrakter Anordnung anstatt einer individuell-konkreten Verfügung. Vorab fehlten jegliche Ausführungen zu den Rechtsgrundlagen, auf die sich der Entscheid stütze. Der einzig genannte kommunale Richtplan sei nicht demokratisch legitimiert und nicht eigentümerverbindlich. Selbst wenn die Auferlegung eines Architekturwettbewerbs nach SIA zulässig wäre – was die Beschwerdeführer bestreiten – sei für sie nicht klar, was genau die auferlegte Pflicht bedeute. Die Ordnung SIA 142 kenne mehrere Wettbewerbsarten (Planungs- und Gesamtleistungswettbewerb) und Verfahren (offenes und selektives Verfahren sowie Einladungsverfahren). In weiteren Punkten sehe die Ordnung Wahlmöglichkeiten zur Durchführung des Architekturwettbewerbs vor. Weiter seien die Ausführungen des Gemeinderats zu ihrer Liegenschaft eher genereller Natur, indem sie auf die Lage des Grundstücks und nicht auf ein konkretes Projekt Bezug nähmen. Die Ausführungen der Gemeinde könnten für jedes beliebige Bauprojekt auf diesem Grundstück Geltung haben.
3.2.
Die Vorinstanz führt dazu aus, im Rahmen der Verhandlungen über einen Rückzug der Beschwerde habe sie aufgezeigt, mit welchem Umfang und welchen Kosten für ein Konkurrenzverfahren zu rechnen sei. Im Entscheid habe sie die Notwendigkeit des Konkurrenzverfahrens dargelegt und begründet. Es werde im Übrigen auf die Stellungnahme der kantonalen Denkmalpflege vom 8. August 2015 zur Beurteilung der Machbarkeitsstudie des Büros A verwiesen. Der Richtplan P habe ein Auflage- und Mitwirkungsverfahren durchlaufen und sei vom Regierungsrat am 22. November 2009 genehmigt worden. Für das Konkurrenzverfahren sei die gesetzliche Grundlage in Art. 8 Abs. 5 des Bau- und Zonenreglements gegeben. Im Übrigen sei die Art und Weise des Konkurrenzverfahrens für die Beschwerdeführer nicht entscheidend. Diese stellten sich ohnehin auf den Standpunkt, dass sie nicht bereit seien, in ein Konkurrenzverfahren einzuwilligen, weil ein hauseigener Architekt bereits erste Studien erstellt habe. Unabhängig davon seien ihnen im Rahmen der Einigungsbemühungen der Umfang und die zu erwartenden Gesamtkosten eines Wettbewerbs aufgezeigt worden.
3.3.
</span></span></p> <p style="margin: 0cm 0cm 0pt;"><span>3.3.1.<span> </span></span></p> <p style="margin: 0cm 0cm 0pt;"><span>Gemäss Art. 29 Abs. 2 </span><span>der Bundesverfassung der Schweizerischen Eidgenossenschaft (BV; SR 101)</span><span> haben die Parteien Anspruch auf rechtliches Gehör, wovon die Begründungspflicht einen wesentlichen Bestandteil darstellt. Die Begründung soll verhindern, dass sich die Behörde von unsachlichen Motiven leiten lässt, und dem Betroffenen ermöglichen, die Verfügung gegebenenfalls sachgerecht anzufechten. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheids ein Bild machen können. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf welche sich ihr Entscheid stützt. Dies bedeutet indessen nicht, dass sie sich ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (BGE 129 I 232 E. 3.2, 126 I 97 E. 2b mit Hinweisen). Umfang und Dichte der Begründung richten sich nach den Umständen (BGE 133 I 270 E. 3). Der Umfang des Anspruchs hängt u.a. von der Komplexität des Falls und von der Intensität der Betroffenheit ab, welche ein Entscheid bewirkt. Je grösser die Gefahr einer Beeinträchtigung schutzwürdiger Interessen ist, je bedeutsamer diese sind und je grösser der Ermessensspielraum einer Behörde ist, desto umfassender ist das rechtliche Gehör zu gewähren (vgl. LGVE 1993 II Nr. 17 E. 3a; Urteil des Kantonsgerichts Luzern 7H 13 57 vom 8.4.2014 E. 4.2; Rhinow/Koller/Kiss/Thurnherr/Brühl-Moser, Öffentliches Prozessrecht, 3. Aufl. 2014, N 347; Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 7. Aufl. 2016, N 1006). Wie bei Ermessensfragen allgemein geboten, ist dabei den vor Ort anzutreffenden Verhältnissen in angemessener Detailliertheit Rechnung zu tragen und im Rahmen einer Interessenabwägung aufzuzeigen, wie die involvierten Aspekte gewichtet werden (vgl. Urteil des Kantonsgerichts Luzern 7H 13 33 vom 22.11.2013 </span><span>E. 3.3.2).
3.3.2.
Die Verpflichtung eines Grundeigentümers, bei baulichen Veränderungen des Grundstücks einen Architekturwettbewerb nach SIA durchführen zu lassen – und damit der Ausschluss der freien Wahl eines Architekten für die Planung solcher Vorhaben –, tangiert die Baufreiheit als Teilaspekt der Eigentumsgarantie nach Art. 26 BV, welche die rechtsanwendenden Instanzen zu beachten haben (Leutenegger, Das formelle Baurecht in der Schweiz, 2. Aufl. 1978, S. 79). Hinzu kommen finanzielle Aufwendungen, die bei der Durchführung eines Architekturwettbewerbs im Vergleich zur ordentlichen Einreichung eines Baugesuchs zusätzlich anfallen. In einer von der Vorinstanz eingereichten Kostenaufstellung geht diese von Kosten in der Höhe von gesamthaft Fr. 90'000.-- aus, die für betreffende Architekturwettbewerbe anfallen werden.
Hinzu kommt, dass die im vorliegenden Fall für die Anordnung von Konkurrenzverfahren bei Baugesuchen in der Kernzone der Gemeinde Z massgebenden kommunalen Bestimmungen (Art. 8 i.V.m. Art. 27 BZR) der Bewilligungsbehörde Ermessensspielräume einräumen. Demnach kann der Gemeinderat für ortsbildprägende Objekte ein Konkurrenzverfahren durchführen lassen. Weiter kann er auf ein Konkurrenzverfahren verzichten, wenn die angestrebte Qualität anderweitig gesichert ist (Art. 8 Abs. 5 Sätze 4 und 5 BZR). Die Anwendung dieser Vorschriften verlangt im Einzelfall nach entsprechender Begründung.
Überdies bedarf die Anordnung eines Konkurrenzverfahrens im Einzelfall weiterer Hinweise auf die Modalitäten der Durchführung, wie nachstehend noch zu zeigen sein wird (E. 3.4.3). Die Bauherrschaft muss sich über die Tragweite und den Inhalt der ihr auferlegten Pflicht im Klaren sein.
Alles in allem ergeben sich somit hohe Anforderungen an die Begründungsdichte. Ob der angefochtene Entscheid diese zu erfüllen vermag, ist nachstehend zu überprüfen.
3.4.
3.4.1.
Im angefochtenen Entscheid wird zunächst erwähnt, dass der Gemeinderat gemäss dem Richtplan P Wettbewerbe verlangen könne, wenn Grösse und Bedeutung des Bauvorhabens dies nahelegten. Bei allen drei Bauvorhaben (u.a. betreffend das den Beschwerdeführern gehörende Haus auf dem Grundstück Nr. x) sei dies in hohem Mass der Fall. Es handle sich beim Gebiet y und insbesondere bei den Parzellen rund um den Dorfplatz um einen Ort mit unverwechselbarem und einzigartigem Charakter, welcher eine besondere räumliche und optische Wirkung entfalte, die erhalten werden müsse. Dies sei bei einer Verdichtung eine äusserst heikle Angelegenheit. Im öffentlichen und privaten Interesse seien optimale Konzepte zu suchen, um die Einmaligkeit des Gebiets y zu erhalten und weiterzuentwickeln. Qualitativ hochstehende Konkurrenzverfahren böten angemessene Gewähr, dieses Ziel zu erreichen. Alle drei Liegenschaften (darunter die streitbetroffene) lägen in einer Baugruppe, deren Wirkung schon durch das Wegfallen oder Verändern eines einzelnen Elements oder durch das Hinzufügen eines Fremdkörpers empfindlich gestört werden könne. Bei allen Bauvorhaben handle es sich nicht um Sanierungen, Anbauten oder die Errichtung gleicher Bauvolumina an der gleichen Stelle, sondern um grosse Veränderungen mit entsprechender räumlicher Wirkung. Auf jeder Liegenschaft seien jeweils mehrere Gebäude betroffen; abgebrochen würden ganze Gebäude oder Gebäudeteile; Zwischenräume würden neu bebaut; das Gesicht des Dorfplatzes entscheidend beeinflusst. Durch unangemessene Interventionen bei diesen Bauvorhaben könnten der ortsbauliche und der architektonische historische Wert und der Charakter des Gebiets y als Ganzes leicht verloren gehen. Es sei deshalb grösste Vor- und Umsicht bei der Entwicklung dieser Bauvorhaben geboten. Ein Wettbewerb biete die höchste Gewähr, die optimale bauliche Lösung zu finden. Er biete zudem auch Rechtssicherheit für weitere Planungsschritte. Die Grundeigentümer hätten Einflussmöglichkeiten bei der Entwicklung des Wettbewerbsprogramms, Auswahl der Teilnehmer, Definition des Umfangs des Architekturauftrags und im Fall einer Weiterentwicklung des Projekts. Zudem könne in der Wettbewerbsjury mitgearbeitet werden. Der Wettbewerb im Speziellen auf Grundstück Nr. x sei notwendig wegen des grossen Perimeters bedeutender Verdichtung resp. vollständiger Erneuerung, wegen der für das Ortsbild sehr bedeutenden Lage am Dorfplatz, weil mit dem Bauvorhaben ein alter und identitätsstiftender Bauernhof im Ortskern vollständig verschwinde resp. uminterpretiert werde, und wegen der sehr schwierigen und komplexen Planungsaufgabe (Nutzung und Eingliederung der neuen Bauten). Gestützt darauf werden die Grundeigentümer verpflichtet, bei baulichen Veränderungen auf dem Grundstück einen Architekturwettbewerb nach SIA durchzuführen.
3.4.2.
Den Beschwerdeführern ist beizupflichten, dass der Entscheid keinen Hinweis auf die massgebenden Rechtsnormen (Art. 8 Abs. 5 BZR und Art. 27 BZR) enthält, sondern bloss den kommunalen Richtplan P erwähnt, wonach der Gemeinderat Wettbewerbe verlangen könne. Als Handlungsgrundlage der Verwaltung verlangt das Legalitätsprinzip generell-abstrakte Normen, mithin Rechtssätze (vgl. Tschannen/Zimmerli/Müller, Allgemeines Verwaltungsrecht, 4. Aufl. 2014, § 19 N 15). Dem Richtplan als lediglich behördenverbindliche Anordnung (vgl. § 9 des Planungs- und Baugesetzes [PBG; SRL Nr. 735]) kommt diese Funktion für sich allein nicht zu. Dass die erwähnten BZR-Bestimmungen im Entscheid nicht genannt werden, stellt einen Mangel in der Entscheidbegründung dar. Dieser wiegt indessen nicht besonders schwer, da die Beschwerdeführer – wie ihre Beschwerdeschrift zeigt – auch ohne die explizite Nennung der Bestimmungen in der Lage waren, auf die genannten BZR-Bestimmungen Bezug zu nehmen und den Entscheid anzufechten.
3.4.3.
Die hohen Anforderungen an die Begründungsdichte verlangen weiter, dass die den Beschwerdeführen auferlegte Pflicht zur Durchführung von Konkurrenzverfahren hinreichend spezifiziert sein muss. Diese müssen sich ein Bild über die Tragweite und den Inhalt dieser Pflicht machen können.
Massgebende gesetzliche Grundlage für die allfällige Durchführung von Konkurrenzverfahren in der Kernzone ist Art. 8 Abs. 5 BZR. Diese Bestimmung verweist auf Art. 27 BZR, der – da Art. 27 BZR gesetzessystematisch zu den Vorschriften zum Gestaltungsplan gehört – analog anzuwenden ist. Art. 27 Abs. 1 BZR besagt, dass ein Konkurrenzverfahren vorliegt, wenn wenigstens drei Projektentwürfe von voneinander unabhängigen Verfassern vorliegen (lit. a) und der Gemeinderat und allenfalls weitere von ihm bestimmte Fachgremien an der Vorbereitung des Konkurrenzverfahrens und an der Jurierung dieser Projektentwürfe beteiligt sind (lit. b). Gemäss Abs. 2 dieser Vorschrift kann die Gemeinde sich finanziell am Konkurrenzverfahren beteiligen (lit. a), einen Verfasser bestimmen (lit. b) und ein neues Konkurrenzverfahren verlangen, wenn zwischen Konkurrenzverfahren und Bewilligung mehr als fünf Jahre vergangen sind (lit. c).
Verwiesen wird im angefochtenen Entscheid auf "Architekturwettbewerbe nach SIA". Dies impliziert die Anwendung der SIA-Ordnung 142 für Architektur- und Ingenieurwettbewerbe. Art. 27 BZR schliesst die Ausgestaltung von Konkurrenzverfahren als Architekturwettbewerbe nach SIA – entgegen den Ausführungen der Beschwerdeführer – aber nicht aus. So spricht Art. 27 Abs. 1 lit. a BZR von drei Projektentwürfen von voneinander unabhängigen Verfassern. Der Begriff eines Konkurrenzverfahrens umfasst einen Vergleich verschiedener Projekte im Rahmen eines kompetitiven Verfahrens. Projekt- bzw. Planverfasser müssen qualifizierte Fachleute sein (§ 188 Abs. 3 PBG). Dies sind sie, wenn sie über ein einschlägiges Diplom einer schweizerischen Hoch- oder Fachhochschule oder einer ehemaligen schweizerischen höheren technischen Lehranstalt verfügen oder im schweizerischen Register der Architekten, Ingenieure und Techniker eingetragen sind (§ 57 Abs. 1 der Planungs- und Bauverordnung [PBV; SRL Nr. 736]). Der in Art. 8 Abs. 5 BZR verwendete Begriff "Konkurrenzverfahren" umfasst daher auch Wettbewerbsverfahren, hier konkret Architekturwettbewerbe.
Die SIA-Ordnung 142 kennt mehrere Wettbewerbsarten (Planungswettbewerb, Gesamtleistungswettbewerb, mehrstufiger Wettbewerb) und Verfahren (offenes Verfahren, selektives Verfahren, Einladungsverfahren; vgl. zum Ganzen: Ulrich, Die neue SIA-Ordnung 142 für Architektur- und Ingenieurwettbewerbe – Inhalt und Bedeutung – eine erste Einschätzung, in: AJP 1999 S. 243 ff.), zu welchen sie im Einzelnen auch weitergehende Erläuterungen enthält. Die konkrete Vorgabe, welche Wettbewerbsart und welches Verfahren im Einzelfall zum Tragen kommen sollen, sowie die in Art. 27 Abs. 2 lit. a BZR angesprochene Beteiligung an den Kosten werden indessen in der SIA-Ordnung nicht ausgeführt. Insofern reicht ein blosser Verweis auf die SIA-Ordnung nicht aus, um den Pflichtigen über die Modalitäten des durchzuführenden Wettbewerbs hinreichende Klarheit zu verschaffen. Auch der angefochtene Entscheid enthält diesbezüglich keine näheren Angaben. Die von der Vorinstanz offenbar im Rahmen von Einigungsverhandlungen aufgelegte Aufstellung zum Vorgehen und den Kosten für ein Konkurrenzverfahren ist äusserst summarisch und stichwortartig formuliert, weshalb auch sie diese Funktion nicht erfüllt. Der angefochtene Entscheid verweist im Übrigen nicht auf diese Aufstellung.
Damit fehlen dem Entscheid zentrale Begründungselemente, derer die Bauherrschaft bedarf, wenn sie der ihr auferlegten Pflicht zur Durchführung eines Architekturwettbewerbs nachkommen soll. Dieser Informationen bedarf sie umso mehr, als die zu wählende Wettbewerbsart und Verfahren unterschiedliche Kosten und sonstigen Aufwand nach sich ziehen und sich daher unterschiedlich stark belastend auf sie auswirken können. Dass sich die Beschwerdeführer in grundsätzlichem Sinn gegen die Pflicht wehren, einen Architekturwettbewerb durchzuführen, ändert im Übrigen am beschriebenen Begründungsbedarf nichts.
Die fehlende Konkretisierung des Konkurrenzverfahrens wiegt in Bezug auf die Verletzung der Begründungspflicht umso schwerer, als im angefochtenen Entscheid auch nicht ausreichend dargelegt wird, inwiefern die Voraussetzungen für die Anwendung des Konkurrenzverfahrens erfüllt wären. So setzt sich die Vorinstanz nicht einlässlich mit der von den Beschwerdeführern in Auftrag gegebenen Machbarkeitsstudie des Architekturbüros B vom 11. Januar 2013 auseinander.
3.5.
Vor diesem Hintergrund erweist sich der Anspruch der Beschwerdeführer auf rechtliches Gehör als verletzt. Eine Heilung ist nicht möglich, da der entsprechende Konkretisierungsbedarf möglicherweise mit weiteren Abklärungen auf der Sachverhaltsebene einhergeht. Auch mit Blick auf den funktionalen Instanzenzug, den es zu wahren gilt, kann es nicht Sache des Kantonsgerichts sein, diese gleichsam erstinstanzlich vorzunehmen. Bereits aus diesem Grund ist der angefochtene Entscheid aufzuheben. Soweit im Folgenden weitere Rügen behandelt werden, erfolgt dies aus prozessökonomischen Überlegungen, insbesondere weil sich die im Zusammenhang mit Konkurrenzverfahren stellenden grundsätzlichen Fragen in einem neuen Entscheid der Gemeinde und weiteren Verfahren wieder stellen können.
3.6.
Grundsätzlich steht es der Gemeinde frei, in welcher Form sie ihrer Begründungspflicht nachkommt. Dem angesprochenen Konkretisierungsbedarf kann auf verschiedene Weise Rechnung getragen werden: Die Gemeinde könnte pro futuro ihre Praxis hinsichtlich der Durchführung von Konkurrenzverfahren resp. Architekturwettbewerben in einer (z.B. als Weisung oder Richtlinie ausgestalteten) Verwaltungsverordnung festhalten, wie dies teilweise in anderen Kantonen resp. Gemeinden praktiziert wird (z.B. Kanton Obwalden, wo die Gemeinde Sarnen gestützt auf eine entsprechende Grundlage in ihrem BZR Richtlinien für Konkurrenzverfahren erliess [abrufbar unter: https://secure.iweb.ch/gemweb/sarnen/de/verwaltung/reglemente]). Darin kann u.a. näher spezifiziert werden, in welcher Form und in welchem Verfahren ein Architekturwettbewerb bei welchen Projekten durchzuführen ist und wie Organisation, Ablauf und Finanzierung des Konkurrenzverfahrens zu gestalten sind.
Soweit keine solche Verwaltungsverordnung geschaffen werden soll resp. solange eine solche nicht besteht, müssen die erforderlichen Angaben im einzelnen Entscheid enthalten sein.