A.- Im Jahre 2000 stimmte das Luzerner Volk dem Gesetz über die universitäre Hochschulbildung (Universitätsgesetz vom 17.1.2000; SRL Nr. 539) zu, welches den Ausbau der Universität Luzern vorsah. Ein Jahr später beschloss der Regierungsrat, der Neubau der Universität solle am Kasernenplatz erstellt werden. Die damit verbundenen Planerleistungen sollten in einem zweistufigen Planungswettbewerb vergeben werden, den der Kanton Luzern durchführte. Am Schluss kamen zwei Projekte in die engere Wahl, einerseits das Projekt "The_Saurus" der Bauart Architekten AG/Bosch Architects sowie das Projekt "Derivat" von Valerio Olgiati. Am 1. Oktober 2003 reichten die Bauart Architekten AG/Bosch Architects beim Bau-, Umwelt- und Wirtschaftsdepartement des Kantons Luzern ein Ausstandsgesuch ein, welches sie mit freundschaftlichen und beruflichen Verbindungen zwischen Valerio Olgiati und dem Jury-Mitglied Andrea Deplazes begründeten. Mit Beschluss vom 14. Oktober 2003 entschied der Regierungsrat, das Ausstandsgesuch sei verspätet eingereicht worden, weshalb darauf nicht eingetreten werden könne. Gleichzeitig erteilte er den Zuschlag für die Planerleistungen betreffend den Neubau der Universität Luzern dem Planerteam Valerio Olgiati.
Die Bauart Architekten AG/Bosch Architects reichten gegen beide Beschlüsse des Regierungsrates Beschwerde ein. Mit Urteil vom 7. Januar 2004 hiess das Verwaltungsgericht des Kantons Luzern die Beschwerde gut und hob die angefochtenen Beschlüsse auf.
B.- Nachdem fünf parlamentarische Vorstösse zur weiteren Universitätsplanung eingereicht worden waren, beschloss der Regierungsrat eine Sistierung des Wettbewerbsverfahrens und veranlasste eine umfassende Überprüfung der aufgeworfenen Fragen unter Beizug einer grossrätlichen Spezialkommission. So sollte etwa die Standortfrage im Hinblick auf die Entwicklung der Studierendenzahlen und die kantonale Schulraumplanung überprüft werden. Gestützt auf diese Abklärungen kamen der Regierungsrat und die Spezialkommission zum Schluss, das Universitätsgebäude sei für maximal 2'600 Studierende und unter Einbezug der Schulraumprobleme in der Agglomeration Luzern zu planen. Aufgrund dieser neuen Anforderungen sei ein Universitätsgebäude am Kasernenplatz nicht mehr möglich, weshalb das entsprechende Wettbewerbsverfahren abgebrochen werden solle. Als neuer Standort wurde das Postbetriebsgebäude beim Bahnhof Luzern empfohlen. Mit Botschaft vom 18. März 2005 (B 88) unterbreitete der Regierungsrat dem Grossen Rat unter anderem den Entwurf für einen Sonderkreditbeschluss für die Projektierung des Umbaus des Postbetriebsgebäudes. Am 2. Mai 2005 stimmte der Grosse Rat mit grosser Mehrheit dieser Vorlage zu.
Mit Verfügung vom 17. Mai 2005 brach deshalb das Kantonale Amt für Hochbauten und Immobilien den Planungswettbewerb für den Neubau der Universität Luzern am Kasernenplatz Luzern ab. Der Architekturwettbewerb "Umbau Postbetriebsgebäude für die Universität Luzern und die Hochschule Luzern der Pädagogischen Hochschule Zentralschweiz" wurde bereits durchgeführt.
C.- Mit Beschwerde vom 3. Juni 2005 beantragte das Planerteam Valerio Olgiati, die Verfügung über den Abbruch des Vergabeverfahrens "Universität Luzern" sei vollumfänglich aufzuheben und das Vergabeverfahren sei unter Einhaltung der Vorgaben des Verwaltungsgerichtsurteils vom 7. Januar 2004 zu Ende zu führen. Eventuell sei festzustellen, der Abbruch des Vergabeverfahrens verletze wichtige Grundsätze des allgemeinen Verwaltungsrechts.
Der Kanton Luzern beantragte die Abweisung der Beschwerde und die Feststellung, der Abbruch des Vergabeverfahrens sei rechtmässig erfolgt.
Erwägungen:
1.- a) Gemäss Gesetz über die öffentlichen Beschaffungen vom 19. Oktober 1998 (öBG; SRL Nr. 733) können Verfügungen innert 10 Tagen seit Zustellung mit Beschwerde beim Verwaltungsgericht angefochten werden. Zu den anfechtbaren Verfügungen gehört auch der Abbruch des Vergabeverfahrens (§ 28 Abs. 1 lit. b in Verbindung mit § 27 Abs. 1 lit. d öBG).
b) Zur Beschwerde ist befugt, wer u.a. an der Änderung oder Aufhebung des Anfechtungsgegenstandes ein schutzwürdiges Interesse hat (§ 29 Abs. 1 öBG). Der Beschwerdeführer erhielt am 14. Oktober 2003 den Zuschlag für die Planerleistungen für den Neubau der Universität Luzern. Diese Verfügung wurde durch das Verwaltungsgericht wegen Befangenheit eines Preisrichters aufgehoben. Gemäss Urteil vom 7. Januar 2004 sollte das Preisgericht die nach zwei Bewertungsrunden verbliebenen vier Projekte einer nochmaligen Beurteilung unterziehen (V 03 308). Der Beschwerdeführer, der aufgrund des Verwaltungsgerichtsurteils immer noch die Chance hatte, den Zuschlag für die Planerleistungen zu erhalten, ist durch den Abbruch unbestreitbar in seinen rechtlich geschützten Interessen berührt. Die Beschwerdelegitimation ist somit gegeben, und es ist auf die form- und fristgerecht erhobene Beschwerde einzutreten.
c) Am 30. November 2004 trat für den Kanton Luzern die revidierte Interkantonale Vereinbarung über das öffentliche Beschaffungswesen vom 15. März 2001 (IVöB; SRL Nr. 733a) in Kraft, welche die IVöB in der Fassung vom 25. November 1994 ablöste. Diese Vereinbarungen kämen im vorliegenden Fall grundsätzlich zur Anwendung (Art. 7 Abs. 1bis in Verbindung mit Anhang 2 revIVöB bzw. Art. 7 Abs. 1 lit. b IVöB), kann doch davon ausgegangen werden, dass bei Erstellungskosten von rund 40 Mio. Franken das Architektenhonorar die notwendigen Schwellenwerte erreichen würde. Fraglich ist nur, welche Fassung der IVöB im vorliegenden Fall Gültigkeit hat. Gemäss Übergangsrecht (Art. 22 Abs. 1 IVöB) gilt die IVöB für die Vergabe von Aufträgen, die nach dem Inkrafttreten der Vereinbarung ausgeschrieben oder vergeben wurden. Der zweistufige Planungswettbewerb wurde am 27. April 2000 ausgeschrieben, weshalb die IVöB in der Fassung vom 25. November 1994 zur Anwendung käme. Nachdem die Bestimmung betreffend Abbruch des Vergabeverfahrens (Art. 13 lit. i IVöB) in der revidierten Fassung unverändert übernommen wurde, hat die Gültigkeit der alten IVöB jedoch keine Auswirkungen.
d) Im Beschwerdeverfahren betreffend das öffentliche Beschaffungswesen ist das vergebende Gemeinwesen ohne weiteres als Partei zu behandeln. Als Auftraggeber kann es kosten- und schadenersatzpflichtig werden (§ 34 f. öBG; LGVE 1999 II Nr. 12 Erw. 2b, Galli/Lehmann/Rechsteiner, Das öffentliche Beschaffungswesen in der Schweiz, Zürich 1996, N 542).
e) Die Zuständigkeit der Einzelrichterin ergibt sich aus § 28 Abs. 2 1. Satz öBG in Verbindung mit § 8a Abs. 1 lit. f der Geschäftsordnung für das Verwaltungsgericht des Kantons Luzern vom 16. Mai 1973 (SRL Nr. 43).
2.- Der Beschwerdegegner hat als Auftraggeber das Vergabeverfahren abgebrochen. Er verzichtet auf einen Neubau am Kasernenplatz und will die Universität im Postbetriebsgebäude beim Bahnhof Luzern ansiedeln. Dies begründet er unter anderem damit, die Studierendenzahl habe in einem unerwarteten Masse zugenommen. Bei Erlass des Universitätsgesetzes im Jahre 2000 habe man für das Jahr 2005 mit 900 Studierenden gerechnet. Da sich die Juristische Fakultät seit ihrer Eröffnung im Jahre 2002 einer unerwartet hohen Nachfrage erfreute, sei diese Zahl bereits im Herbst 2003 erreicht worden. Im Dezember 2004 seien 1'236 Studierende eingeschrieben gewesen. Dazu kämen noch 101 Doktorierende und 193 Nachdiplomstudierende. Im Sommer 2004 habe der Universitätsrat einen Entwicklungs- und Finanzplan 2005 - 2012 erarbeitet. Darin sei dieser zum Schluss gekommen, für die langfristige Sicherung der Wettbewerbsfähigkeit müsse das Angebot an Fachgebieten erweitert werden. Je nach Ausbau und künftigem Betreuungsverhältnis zwischen Professoren und Studierenden sei deshalb für das Jahr 2012 mit 2'000 bis 2'600 Studierenden zu rechnen. Die im Wettbewerbsverfahren verbliebenen vier Projekte seien aber nur für je 1'200 Studierende konzipiert, weshalb diese zu klein seien. Der neue Unistandort hingegen böte zusätzlich Platz für einen Teil der Pädagogischen Hochschule Zentralschweiz (PHZ), womit die Schulraumprobleme der Mittel- und Fachhochschulen in der Agglomeration Luzern entschärft werden könnten.
Der Beschwerdeführer macht geltend, die Standortfrage sei schon entschieden gewesen, weshalb der Abbruch des Vergabeverfahrens lediglich politischer Natur sei. Die Entwicklung der Studierendenzahlen sei vorhersehbar gewesen. Im Übrigen wäre der Kasernenplatz auch aufgrund der aktuellen Zahlen als Unistandort möglich, die Universität müsste einfach auf verschiedene Gebäude verteilt werden. Ferner hätten Schulraumprobleme nichts mit dem Projektwettbewerb zu tun, da ein Universitätsgebäude und nicht ein Mehrzweckgebäude Planungsgegenstand war.
a) Mit der Einleitung eines Submissionsverfahrens verspricht die Auftraggeberin der einzelnen Anbieterin nicht den Auftrag als solchen; sie verspricht ihr aber eine reale, faire Chance, letztlich die erfolgreiche Bewerberin sein zu können. Diese Rechtslage gilt auch hinsichtlich der Wirkungen des Zuschlags (§ 19 öBG; BGE 129 I 416). Diese Chance wird der einzelnen Anbieterin entzogen, wenn die Auftraggeberin das Verfahren abbricht, ohne den Auftrag zu vergeben. Wenn sie das Verfahren wiederholt oder neu auflegt, beraubt sie die einzelne Anbieterin zwar nicht endgültig ihrer Chancen auf Erhalt des Zuschlages, aber zumindest in Bezug auf das laufende Verfahren. Im neuen Verfahren kann die Anbieterin möglicherweise wieder teilnehmen, doch sind ihre Erfolgsaussichten unter Umständen schlechter geworden.
Eine Beschaffungsstelle kann deshalb ein Vergabeverfahren nicht aus beliebigen Gründen abbrechen, wiederholen oder neu durchführen. In § 18 öBG werden die möglichen Gründe aufgezählt. Die Auftraggeberin darf das Verfahren abbrechen, wenn sie auf die Beschaffung verzichtet (Abs. 1). Sie kann das Verfahren abbrechen und wiederholen, wenn keine entsprechenden Angebote eingegangen sind, wenn aufgrund veränderter Rahmen- oder Randbedingungen oder wegfallender Wettbewerbsverzerrungen günstigere Angebote zu erwarten sind sowie wenn andere wichtige Gründe vorliegen (Abs. 2). Die Auftraggeberin kann überdies das laufende Verfahren abbrechen und ein neues Verfahren durchführen, wenn sie die verlangte Leistung wesentlich ändert (Abs. 3).
Wenn nicht definitiv auf die Beschaffung verzichtet wird, unterscheidet das öBG somit zwischen Wiederholung und Neudurchführung des Verfahrens. Der Begriff der Wiederholung beinhaltet, dass das Verfahren nochmals unter den gleichen Bedingungen und dem gleichen Leistungsumfang durchgeführt wird. Die Neudurchführung setzt von Gesetzes wegen voraus, dass sich die verlangte Leistung wesentlich von der Leistung im vorgängigen Verfahren unterscheiden muss (vgl. LGVE 2000 II Nr. 14 Erw. 2, mit weiteren Hinweisen; Urteil V 01 93 vom 24.8.2001 Erw. 2a).
b) Anstelle eines Unineubaus am Kasernenplatz für 1'200 Studierende soll nun das bestehende Postbetriebsgebäude beim Bahnhof Luzern für 2'600 Studierende sowie einem Teil der Studierenden der PHZ umgebaut werden. Obwohl sich die ausgeschriebene Leistung (Umbau statt Neubau), die Raumbedürfnisse sowie der Standort geändert haben, dürfte wohl nicht von einem Verzicht auf die Beschaffung gesprochen werden, geht es doch immer noch um das Gleiche: Die Architekturarbeiten am Universitätshauptgebäude. Auch handelt es sich nicht um einen Abbruch zwecks Wiederholung des Verfahrens unter den gleichen Bedingungen und mit dem gleichen Leistungsumfang. Der Beschwerdegegner beruft sich auf eine wesentliche Veränderung des Leistungsumfanges und hat bereits einen neuen Architekturwettbewerb durchführen lassen. Im Folgenden ist daher zunächst zu prüfen, ob die gesetzlichen Bedingungen für einen Abbruch und eine Neudurchführung des Beschaffungsverfahrens im Sinne von § 18 Abs. 3 öBG gegeben sind.
3.- a) Nachdem mit der angefochtenen Verfügung das Vergabeverfahren betreffend Neubau der Universität Luzern am Kasernenplatz abgebrochen worden war, hat der Beschwerdegegner mit Programm vom 31. Mai 2005 den Architekturwettbewerb "Umbau Postbetriebsgebäude für die Universität Luzern und die Hochschule Luzern der Pädagogischen Hochschule Zentralschweiz" ausgeschrieben. Im abgebrochenen Vergabeverfahren wurde gemäss Wettbewerbsprogramm vom 11. Dezember 2002 verlangt, einen Universitätsneubau für 1'200 Studierende zu entwerfen, was rund 8'000 m2 Hauptnutzfläche und 14'000 m2 Geschossfläche entsprach. Dem aktuellen Wettbewerb lag gemäss der auf der Homepage des Amtes für Hochbauten und Immobilien (ahi) publizierten Wettbewerbsaufgabe und dem Wettbewerbsprogramm ein Bauvolumen von rund 160'000 m3 mit einer Geschossfläche von ca. 40'000 m2 zugrunde. Nachdem dieser Wettbewerb bereits abgeschlossen worden ist, sind diese Unterlagen nicht mehr aufgeschaltet. Gemäss angefochtener Verfügung können im Postbetriebsgebäude 18'800 m2 Hauptnutzflächen realisiert werden, wovon die Universität 13'300 m2 und die PHZ 5'500 m2 benötigen. Anstelle eines Universitätsneubaus für 1'200 Studierende soll das Postbetriebsgebäude für max. 2'600 Studierende der Universität Luzern und 600 Studierende der PHZ umgebaut werden (Wettbewerbsprogramm vom 31.5.2005 S. 9).
b) Das Verwaltungsgericht hat sich in seiner bisherigen Rechtsprechung vor allem zur quantitativen Leistungsänderung geäussert. Gemäss LGVE 2000 II Nr. 14 Erw. 3c hängt im Fall der mengenmässigen Änderung die Wesentlichkeit von einer bestimmten Grenzmenge ab, um welche die Leistung reduziert wird und die im Einzelfall festzulegen ist. In jenem Fall wurde eine Neudurchführung des Vergabeverfahrens bei einer mengenmässigen Reduktion von 20 % zugelassen; dabei handelte es sich um eine Minderung der zu bearbeitenden Flächen im genannten Umfang. Das Gericht führte dazu aus, bei dieser Menge könnten sich die verschiedenen Berechnungsfaktoren derart auswirken, dass sich die preisliche Rangierung verändere, weshalb ein Abbruch gerechtfertigt sei. Diese Praxis wurde im Urteil V 01 93 vom 24. August 2001 bestätigt, wo die Sanierung eines Gebäudes nachträglich auf bestimmte Teile beschränkt wurde, und die Spenglerarbeiten deshalb um 40 % reduziert wurden.
Eine Neudurchführung des Vergabeverfahrens kommt aber auch in Frage, wenn neue Leistungsteile verlangt werden (LGVE 2000 II Nr. 14 Erw. 3a in fine). Von einer wesentlichen Leistungsänderung ist etwa auszugehen, wenn anstelle der Sanierung einer Krananlage die Lieferung, Montage und Inbetriebnahme von zwei komplett neuen Krananlagen geschuldet ist (Urteil V 05 90 vom 14.7.2005).
Dass im vorliegenden Fall von einer wesentlichen Leistungsänderung auszugehen ist, wird bereits bei einem Vergleich der Rahmenbedingungen der beiden Wettbewerbe klar. So wird nicht mehr von 1'200 Studierenden sondern von 2'600 Studierenden (zuzüglich max. 600 Studierenden der PHZ) ausgegangen. Diese Zunahme an Studierenden zeigt sich im (quantitativen) Vergleich der Bauziffern. Selbst wenn man den Raumbedarf der PHZ nicht miteinbezieht, ist gemäss der angefochtenen Verfügung bei 2'600 Studierenden ein Gebäudevolumen von 120'000 m3 erforderlich. Die im Wettbewerbsverfahren für den Standort Kasernenplatz prämierten ersten vier Projekte weisen jedoch unbestrittenermassen nur Gebäudevolumen zwischen 59'310 m3 (Projekt des Beschwerdeführers) bis 67'650 m3 auf. Deshalb ist von einer Zunahme des Raumbedarfs von 77,4 bis 102,3 % auszugehen. Bei einem Vergleich der Hauptnutzfläche (ohne Einbezug der Raumfläche der PHZ) errechnet sich eine Zunahme von 66,25 %. Bei diesen Zahlen ist eine wesentliche Leistungsänderung im Hinblick auf die bisherige Praxis des Verwaltungsgerichts zu bejahen. Eine solche liegt aber auch in qualitativer Hinsicht vor. Anstelle der Projektierung eines Universitätsneubaus ist jetzt der Umbau einer bestehenden Liegenschaft Beschaffungsgegenstand.
4.- Aus § 18 Abs. 3 öBG geht hervor, dass die Neudurchführung eines Vergabeverfahrens einzig eine wesentliche Leistungsänderung voraussetzt. Grundsätzlich müsste somit nicht geprüft werden, ob ein wichtiger Grund für den Abbruch vorliegt oder nicht. Dies ist nur im Verfahren nach § 18 Abs. 2 öBG - bei der Wiederholung mit gleichem Leistungsumfang - zu prüfen. Allerdings ist diese Feststellung insofern zu relativieren, als die Neudurchführung (und damit auch der vorgängige Abbruch) des Vergabeverfahrens sachlich begründet sein muss und kein Missbrauch vorliegen darf (Beyeler, Überlegungen zum Abbruch von Vergabeverfahren, in: AJP 7/2005 S. 784). Zwar sprechen die einschlägigen Rechtsnormen bisweilen von der Abbruchvoraussetzung des öffentlichen Interesses (Art. XIII Ziff. 4 lit. b des GATT/WTO-Übereinkommens über das öffentliche Beschaffungswesen vom 15.4.1994 [GPA; SR 0.632.231.422]) oder des wichtigen Grundes (Art. 13 lit. i IVöB). Dies widerspricht der These vom "sachlichen Grund" als einziger materieller Zulässigkeitsvoraussetzung des Abbruchs nicht, da ein Abbruch bei Vorliegen eines sachlichen Grundes stets im öffentlichen Interesse liegt und der wichtige Grund - da nicht eng auszulegen - sich mit dem sachlichen Grund vollkommen deckt (Beyeler, a.a.O., S. 789; Stöckli, Bundesgericht und Vergaberecht, in: BR 1/2002, S. 10 f.).
Die Umschreibung von Gegenstand und Umfang eines öffentlichen Auftrags ist grundsätzlich Sache der vergebenden Instanz. Ihr obliegt es, vorgängig eine sachgerechte Bedürfnisabklärung vorzunehmen und den Auftrag anhand derselben zu bestimmen (Galli/Moser/Lang, Praxis des öffentlichen Beschaffungsrechts, Zürich 2003, Rz. 214). Treten Entwicklungen ein, die aus sachlichen Gründen zu einer Überprüfung des öffentlichen Auftrags führen, so kann die Vergabebehörde im Rahmen der gesetzlichen Vorgaben das hängige Beschaffungsverfahren abbrechen und wiederholen oder neu durchführen. Bei der Entscheidung darüber, ob ein Vergabeverfahren wiederholt oder neu durchgeführt werden soll, besitzt die Vergabebehörde einen Spielraum. Es liegt ein Entschliessungsermessen vor, das vom Verwaltungsgericht grundsätzlich nicht überprüft werden darf (§ 30 Abs. 2 öBG).
5.- Gemäss Medienmitteilung der Universität Luzern vom 21. Oktober 2005 haben im Wintersemester 2005 475 Erstsemestrige das Studium aufgenommen, weshalb aktuell von rund 1'600 Studierenden auszugehen ist (www.unilu.ch/dokumente/dokus\_unilu/Press\_Semesterstart\_7812.pdf). Bis ins Jahr 2012 wird mit 2'000 bis 2'600 Studierenden gerechnet. Aufgrund dieser Erkenntnisse verlangten der Regierungsrat und die grossrätliche Spezialkommission, das neue Universitätsgebäude sei für 2'600 Studierende zu planen.
a) Das Projekt "Derivat" des Beschwerdeführers wurde unbestrittenermassen für maximal 1'200 Studierende konzipiert. Für eine spätere Erweiterung der Universität wurde eine Reserve in der näheren Umgebung des Quartiers für 300 zusätzliche Studierende vorgesehen. Selbst unter Einbezug der Reserve würde das Raumangebot des Universitätsneubaus bereits im heutigen Zeitpunkt nicht genügen. Der Beschwerdeführer hält diesbezüglich fest, alle Bauvorhaben würden für eine bestimmte Dimension geplant und bezüglich Raumprogramm ausgelegt. Diese zum vorneherein von der Bauherrschaft begrenzte Benutzerzahl sei in der Folge einzuhalten. Auch andere öffentliche Bauten wie Spitäler, Kultur- und Kongresszentren oder sportgenutzte Infrastrukturen könnten nicht je nach Verlauf der Erfolgskurve der jeweiligen Veranstalter umdimensioniert werden. Wer einen Konzertsaal baue, der baue ihn für eine bestimmte Anzahl Sitze. Gleiches gelte für ein Sportstadion oder ein Spital und somit auch für ein Universitätsgebäude. Schwankungen in der Anzahl der Studierenden seien ohnehin die Regel, zumal bei neuen Fakultäten üblicherweise der Ansturm nur am Anfang sehr gross sei und sich im Laufe der Zeit auf einem bestimmten Niveau einpegle.
b) Der Hinweis des Beschwerdeführers, auch andere öffentliche Bauvorhaben würden für eine begrenzte Anzahl Nutzer geplant, die in der Folge einzuhalten sei, vermag nicht zu überzeugen. Insbesondere kann der geplante Universitätsneubau nicht mit Spitälern, Kultur- und Kongresszentren sowie Sportanlagen verglichen werden. Bei den erwähnten Bauten dürfte eine Schätzung der Zahl der künftigen Nutzer aufgrund bestehender Zahlen einfacher sein als bei einer Ausbildungsstätte, welche einen neuen Studiengang anbietet. Die Frage, wie viele Personen ein bestimmtes Studium aufnehmen und wo sie studieren werden, wird von vielen Unbekannten begleitet. Auch dürfte die Aussage, bei einer neuen Fakultät sei der Ansturm üblicherweise nur am Anfang sehr gross, nicht zutreffen. Studierende an einer neuen Fakultät dürften ein gewisses Risiko eingehen, ist doch noch nicht klar, wo sich diese positionieren wird. Es gibt keinen Hinweis, dass die Studierendenzahl in nächster Zukunft stagnieren bzw. sogar zurückgehen wird. Wenn man der Argumentation des Beschwerdeführers folgt, würde dies zur Realisierung eines Universitätsneubaus führen, der bei seiner Eröffnung bereits zu klein wäre und eine weitere Entwicklung der Universität nicht zulassen würde.
6.- a) Der Beschwerdeführer macht weiter geltend, die Behauptung, keines der im Wettbewerbsverfahren "Kasernenplatz" verbliebenen vier Projekte könne den geänderten Bedingungen gerecht werden, sei nur vordergründig zutreffend und im Übrigen widersprüchlich. So werde in der gleichen Verfügung ausgeführt, mit der Beibehaltung des Gebäudes an der Pfistergasse und dem Einbezug eines weiteren Gebäudes am Sentipark könnte das Raumprogramm erfüllt werden. Praktisch alle Universitäten in der Schweiz seien über verschiedenste Gebäude verteilt, in der Regel im gleichen Quartier um das Hauptgebäude gruppiert. Diese Anordnung komme auch den neuzeitlichen pädagogischen Lehrmethoden in Seminarform respektive Gruppenunterricht entgegen. Damit sei klar, dass das Raumprogramm an den Kosten scheitere, was unbehelflich im Sinne der vergaberechtlich wichtigen Gründe für den Abbruch eines Wettbewerbsverfahrens sei. Dies vor allem deswegen, weil am neuen Standort mit dem neuen Wettbewerb und den höheren Kapazitäten die Kosten ebenfalls steigen würden. Die Kostenfrage stelle sich nur in Bezug auf die Kapazitätserweiterung, ansonsten ihr Projekt das günstigste gewesen sei.
b) Der Beschwerdegegner hat im Anschluss an das erwähnte Verwaltungsgerichtsurteil aufgrund der aktuellen Schätzungen der Studierendenzahlen noch einmal zehn mögliche Universitätsstandorte in der Stadt Luzern detailliert untersucht und beurteilt. Gestützt auf diese Bewertung hat der Regierungsrat das Postbetriebsgebäude als neuen Standort für die Universität Luzern vorgeschlagen, sei dieses doch zentral gelegen und optimal erschlossen. Das Gebäude selbst erlaube eine flexible Nutzung. Die Risiken in den Bewilligungsverfahren und beim Bau seien klein. Der Erwerb sowie Um- und Ausbau des Postbetriebsgebäudes koste rund 145 Millionen Franken; 110 Millionen Franken für die Universität und 35 Millionen für die PHZ Luzern. Gemäss Verfügung würde eine auf mehrere Gebäude verteilte Universität am Kasernenplatz Gesamtbaukosten von 129,6 Mio. Franken verursachen; von den zehn möglichen Standorten wäre dies die zweitteuerste Variante. Eine Aufteilung der Universitätsbauten würde zwangsläufig zu betrieblichen Erschwernissen und Mehraufwendungen führen, was dem guten Ruf der Universität schaden könnte. Auch könnten aufgrund des im Postbetriebsgebäude realisierbaren Raumprogramms gleichzeitig die Schulraumbedürfnisse für die PHZ und indirekt auch der Gymnasien in der Agglomeration Luzern gelöst werden. Dadurch könnte auf die Erstellung eines weiteren Schulgebäudes für 800 GymnasiastInnen verzichtet werden. Im Übrigen schaffe die räumliche Verbindung der PHZ mit der Universität zusätzlich vielseitige Synergien.
c) Es kann dem Beschwerdegegner nicht verübelt werden, wenn er aus den verbliebenen Standorten denjenigen auswählt, der den besten Kosten-Nutzen-Effekt bietet. Eine Universität am Kasernenplatz hätte nicht nur höhere Erstellungskosten zur Folge, sondern befände sich in drei Gebäuden, was unter anderem betriebliche Mehrkosten und organisatorische Erschwernisse mit sich ziehen würde. Dass bei diesem Sachverhalt der Standort Kasernenplatz noch einmal überprüft worden ist, erscheint nachvollziehbar. Auch wenn es sich beim Projekt "Derivat" um das günstigste Projekt (einer Universität für 1'200 Studierende am Kasernenplatz) handelt, darf nicht ausser Acht gelassen werden, dass für die Beschaffung des zusätzlich benötigten Schulraums für 1'400 Studierende hohe Aufwendungen entstehen würden. Dass der Beschwerdegegner bei der Prüfung der Standorte von den Gesamtkosten ausgeht, erscheint klar und ist im öffentlichen Interesse. Die durch den zusätzlichen Raumbedarf verursachten Kosten spielen indirekt eine Rolle, als noch geprüft werden muss, ob die Zunahme an Studierenden voraussehbar war oder nicht.
7.- a) Als weiteren Grund für den Verfahrensabbruch wird in der Verfügung geltend gemacht, in der Agglomeration Luzern stehe seit einiger Zeit für die Schulen des sekundären (Mittelschulen) und tertiären (Fachhochschulen) Bereichs zu wenig Schulraum zur Verfügung. Dies hänge mit der starken Nachfrage nach Studienplätzen und mit den zum Teil jungen, erst kürzlich gegründeten und im Aufbau begriffenen Hochschulen zusammen. Letzteres treffe vor allem für die PHZ zu, die im Oktober 2003 ihre Tätigkeit aufgenommen habe und im Gebäudekomplex Musegg-Fluhmatt (wie auch das Kurzzeitgymnasium) untergebracht sei. Die Schülerzahlen an der PHZ seien sehr schnell angewachsen. Im Jahr 2004/2005 studierten dort knapp 500 Personen. Bei einem Vollausbau müsse mit 1'230 Studierenden gerechnet werden. Der Kanton müsse daher für diese Schulen dringlich neue Räume schaffen (z.B. Neubau für eine PHZ oder für ein Gymnasium). Dies veranlasste den Regierungsrat und die grossrätliche Spezialkommission, die Schulraumprobleme in der Agglomeration in die Planung für ein neues Universitätsgebäude miteinzubeziehen.
b) Diesbezüglich hält der Beschwerdeführer fest, die Schulraumprobleme hätten nichts mit dem Universitätsprojektwettbewerb zu tun, sei doch lediglich die Aufgabe gestellt worden, ein Universitätsgebäude und nicht ein Mehrzweckgebäude für Schulen aller Art zu planen. Zum anderen seien auch diese Verhältnisse seit längerer Zeit bekannt, jedenfalls hätten sowohl Kurzzeitgymnasien wie auch die kürzlich gegründete Fachhochschule ihre Planung schon seit längerem aufgenommen, ansonsten sie nicht heute in Betrieb sein könnten. Als Grund für einen Abbruch des Vergabeverfahrens tauge diese Behauptung auch deshalb nicht, weil der Miteinbezug anderer Schulen als neues und vom Wettbewerb unabhängiges Beurteilungselement eingeführt worden sei. Wäre die Einführung von völlig neuen Anforderungen an eine Baute während eines Wettbewerbsverfahrens ein wichtiger Grund für dessen Aufgabe, so könnte dieses dadurch willkürlich jederzeit vorzeitig zu Fall gebracht werden. Ein solches Vorgehen widerspreche aber Treu und Glauben.
c) Der Beschwerdegegner hat in der angefochtenen Verfügung für den Verfahrensabbruch die unerwartete Zunahme an Studierenden an der Universität als Hauptgrund erwähnt. Die Möglichkeit, dank der Wahl des neuen Universitätsstandorts auf ein zusätzliches Schulgebäude verzichten zu können, hat nicht zum Verfahrensabbruch geführt, sondern dürfte nur einen von mehreren Gründen darstellen, welcher für die Ansiedlung der Universität im Postbetriebsgebäude gesprochen hat (vgl. Botschaft des Regierungsrates vom 18.3.2005 [B 88] S. 12 f.). Der Regierungsrat und der Grosse Rat nahmen die steigenden Studierendenzahlen zum Anlass, zu überprüfen, ob die im Uniwettbewerb geforderten Rahmenbedingungen noch dem aktuellen und (geschätzten) künftigen Bedürfnis entsprachen. Dazu waren sie befugt, kann es doch nicht sein, dass eine Beschaffung trotz veränderten Anforderungen um jeden Preis durchgezogen wird, wie dies der Beschwerdeführer scheinbar vertritt. Dass sich der Regierungsrat und der Grosse Rat schlussendlich für den Standort entschieden, der neben der Universität auch noch Platz für einen Teil der PHZ bot, erscheint nachvollziehbar. Daraus kann der Beschwerdeführer nichts zu seinen Gunsten ableiten. Dass das Argument der zusätzlichen Schulraumbeschaffung lediglich dazu verwendet worden ist, um das Projekt des Beschwerdeführers aus dem Rennen zu werfen, macht dieser nicht geltend und ist auch nicht ersichtlich.
8.- Wenn für die Auftraggeberin die Vorteile eines Abbruchs im Vergleich zu jenen der Weiterführung des Verfahrens überwiegen, liegt grundsätzlich bereits ein sachlicher Grund vor, der einen Verfahrensabbruch rechtfertigt. Nicht erforderlich ist, dass eine Weiterführung geradezu unzumutbar wäre. Wenn somit die Aufrechterhaltung des konkreten Vergabeverfahrens zu einer Beschaffung führen würde, die dem tatsächlichen Bedarf der Auftraggeberin nicht (mehr) entspricht, die unmöglich, unwirtschaftlich, sachlich oder technisch nachteilig wäre, wäre ein Verfahrensabbruch zulässig. Dies deshalb, da das Vergaberecht der Verwirklichung sachgemässer, bedarfsgerechter und wirtschaftlicher Beschaffungen zu dienen hat (Beyeler, a.a.O., S. 790 f.).
Das Projekt "Derivat" des Beschwerdeführers entspricht nicht mehr dem aktuellen Bedarf des Beschwerdegegners. Um diesem zu genügen, wären zwei weitere Universitätsgebäude in der Nachbarschaft notwendig, wodurch die Abläufe erschwert und zusätzliche Kosten anfallen würden. Die deutliche Zunahme an Studierendenzahlen, welche für den Standort Kasernenplatz weitreichende Auswirkungen hätte, stellt somit einen sachlichen Grund dar, welcher den Abbruch des Vergabeverfahrens rechtfertigt. Dass es sich beim Projekt "Derivat" um das günstigste handelt, nützt dem Beschwerdeführer in diesem Zusammenhang nicht, da für die Beschaffung des zusätzlich benötigten Schulraums für 1'400 Studierende sehr hohe Aufwendungen entstehen würden. Es ist dem Beschwerdegegner Recht zu geben, dass es wenig Sinn macht, ein Wettbewerbsverfahren zu Ende zu führen, in welchem ein Projekt prämiert wird, welches bereits von Anfang an über keine Raumreserven mehr verfügt. Dies ist auch nicht mit der Pflicht des Beschwerdegegners vereinbar, haushälterisch mit den öffentlichen Mitteln umzugehen und dürfte nicht im öffentlichen Interesse stehen. Selbst wenn der Beschwerdeführer den Zuschlag erhalten würde, wäre damit noch nicht gesagt, dass sein Projekt tatsächlich realisiert würde. So verpflichtet der Zuschlag die Vergabebehörde nicht, einen Vertrag abzuschliessen (§ 19 öBG). Im Programm zum Studienauftrag vom 11. Dezember 2002 wurde diesbezüglich ausgeführt, vorbehalten bleibe in jedem Fall die Projekt- und Kreditgenehmigung durch die finanzkompetenten Organe (z.B. Volksabstimmung für Universitätsneubau). Ob die Stimmbürger zu einem Projekt, welches bereits heute zu klein ist, ja sagen würden, erscheint mehr als fragwürdig. Dass der Beschwerdegegner bei diesen Tatsachen ein anderes Projekt ausführen will, welches die aktuellen Anforderungen besser erfüllt, ist nachvollziehbar. Da bereits die deutliche Zunahme an Studierenden den Verfahrensabbruch rechtfertigt, muss nicht mehr geprüft werden, ob der Verfahrensabbruch auch durch den zusätzlichen Schulraumbedarf der PHZ gerechtfertigt ist.
9.- Jedes Vergabeverfahren schafft eine Vertrauenslage. Die Anbieter nehmen die angebotsbezogenen Aufwendungen insbesondere im Vertrauen darauf in Kauf, dass das Vergabeverfahren sorgfältig und rechtmässig eingeleitet wurde, dass dahinter ernsthafte Vergabeabsichten stehen und das Vergaberecht korrekt angewendet wird. Sie vertrauen darauf, dass ihre Investitionen nicht von vorneherein nutzlos sind und auch später nicht in treuwidriger Weise ihres Nutzens beraubt werden. Die sachlichen Gründe für den Abbruch des Vergabeverfahrens dürfen deshalb für die Auftraggeberin im Zeitpunkt der Ausschreibung des Auftrags bzw. der weiteren Forderungen an die Submittenten nicht voraussehbar sein. Die Vergabestelle darf (ohne entsprechenden Vorbehalt) also kein Vergabeverfahren "auf Probe" oder lediglich zur Marktanalyse einleiten, und sie muss auch hinreichend sicher sein, den Auftrag tatsächlich vergeben zu können (Galli/Moser/Lang, a.a.O., Rz. 382; Entscheid der Eidgenössischen Rekurskommission für das öffentliche Beschaffungswesen vom 16.11.2001, in: BR 2/2002 S. 70 Nr. S5).
a) Der Beschwerdegegner macht in erster Linie die unerwartete Zunahme an Studierenden (vor allem an der Juristischen Fakultät) für den Abbruch des Vergabeverfahrens verantwortlich. Der Beschwerdeführer bezweifelt die vom Beschwerdegegner erwähnte Schätzung von 2'600 Studierenden im Jahre 2012 nicht, bringt aber vor, diese Entwicklung sei absehbar gewesen. Bereits bei der Eröffnung der Juristischen Fakultät habe eine unerwartet hohe Nachfrage bestanden. Diese habe sich stetig erhöht. Deshalb sei für die spätere Erweiterung der Universität eine Reserve in der näheren Umgebung des Quartiers vorgesehen worden. Gemäss Wettbewerbsprogramm vom 22. April 2002 (1. Stufe Ideenwettbewerb) habe der Beschwerdegegner mit ca. 1'500 Studierenden bis ins Jahr 2010 gerechnet und dies als Grundlage für den Standortentscheid und den Sonderkredit bezeichnet.
Der Beschwerdegegner begründet die nicht erwartete Zunahme von Studierenden an der Juristischen Fakultät unter anderem damit, diese habe das Bologna-Modell mit Bachelor- und Master-System kompromisslos ausgestaltet und eingeführt. Im Gegensatz zu den übrigen Rechtsfakultäten der Schweiz hätte sie nicht ein bestehendes Studiensystem umbauen müssen. Auch betrage das Betreuungsverhältnis zwischen Professoren und Studierenden 1:60, was bei den wenigsten Rechtsfakultäten der Fall sei. Luzern habe sich von Anfang an sehr um Studierendenfreundlichkeit und Fairness bemüht. Diese Ziele seien mit verschiedenen Massnahmen wie etwa dem Tutoratsystem (jede Studentin/jeder Student erhält aus dem Lehrkörper eine ständige Beraterin bzw. einen ständigen Berater), interaktiven Lehrformen, häufigen Leistungskontrollen und einem grossen Übungsangebot verfolgt worden. Auch wähle die Fakultät ihre Dozenten sehr sorgfältig aus und achte darauf, dass diese didaktisch versiert seien. Die erwähnten Massnahmen hätten von Anfang an Früchte getragen. So führe die Firma Swissup seit 2002 bei den Studierenden der Rechtsfakultäten eine Umfrage über die allgemeine Zufriedenheit, die Qualität der Professoren und Kurse, die Vorbereitung fürs Berufsleben, die Attraktivität und die Betreuungsquote durch, bei welcher die Luzerner Rechtsfakultät bereits nach dem ersten Studienjahr den 1. Platz belegte. Diesen Platz habe sie in den Jahren 2003 und 2004 verteidigt. Die grosse Zufriedenheit bei den Studierenden, die von Anfang an bestanden habe und sich in den folgenden Jahren bestätigte, könne als ausschlaggebender Grund für den unerwartet starken Zuwachs der Juristischen Fakultät in Luzern betrachtet werden. Dies hätte von niemandem vorausgesehen werden können.
b) Gemäss Beschwerdeführer soll die Entwicklung der Studierendenzahlen absehbar gewesen sein, habe doch der Beschwerdegegner gemäss Wettbewerbsprogramm vom 22. April 2002 für das Jahr 2010 mit ca. 1'500 Studierenden gerechnet. Im Wettbewerbsprogramm wird diesbezüglich erwähnt, ursprünglich sei eine Universität mit 900 Studierenden geplant gewesen. Zwischenzeitlich hätten sich die Planungswerte der Universität aber verändert. Je nach Strategie seien Studierendenzahlen von ca. 1'200 bis 1'500 im Zeitraum 2010 wahrscheinlich. Deshalb habe der Regierungsrat beschlossen, ein Zusatzmodul von 300 Studierenden in das Wettbewerbsverfahren einzubeziehen. Inwiefern zu diesem Zeitpunkt bereits mit einer noch grösseren Zunahme an Studierenden zu rechnen war, macht der Beschwerdeführer nicht geltend. Allein mit der Behauptung, bereits 2002 sei für das Jahr 2010 mit Studierendenzahlen von 1'200 bis 1'500 gerechnet worden, gelingt dieser Beweis nicht. Dies umso weniger, als sowohl die Theologische als auch die Geisteswissenschaftliche Fakultät im damaligen Zeitpunkt die geschätzten Studierendenzahlen nicht erreicht hatten und nur die Juristische Fakultät diese Schätzung um rund 10 % übertroffen hatte (145 statt 130 Studierende). Im Bericht des Universitätsrats vom 23. Juni 2004 rechnet dieser für das Jahr 2010 bereits mit mindestens 1'975 bzw. maximal 2'435 Studierenden. Dass vor allem die Studierendenzahlen an der Juristischen Fakultät in einem unerwarteten Masse zugenommen haben, dürfte auf die vom Beschwerdegegner erwähnten Massnahmen zurückzuführen und bei der Einleitung des Vergabeverfahrens nicht absehbar gewesen sein. Es findet sich in den Akten keinen Anhaltspunkt dafür, dass der Beschwerdegegner die Prognosen der Studierenden-Zahlen für die ersten Jahre bis 2005 unsorgfältig ermittelt hat. Dies umso weniger, als bei den bestehenden Fakultäten (Theologie und Geisteswissenschaften) die Studierendenzahlen (zuerst) die prognostizierten Zahlen nicht erreichten.
c) Nachdem die Zunahme der Studierenden nicht voraussehbar war, liegt keine Verletzung des Vertrauensschutzprinzips vor. Der Beschwerdeführer sieht eine Verletzung dieses, aus dem Grundsatz Treu und Glauben abgeleiteten Prinzips bereits darin, dass er auf Grund der öffentlichen Ausschreibung ein Projekt für einen Universitätsneubau eingereicht hat, was mit Dispositionen in der Höhe von ca. Fr. 850'000.-- verbunden gewesen sein soll. Das Beschaffungsrecht sieht den Abbruch des Vergabeverfahrens jedoch ausdrücklich vor. Deshalb kann aus der Ausschreibung alleine nicht abgeleitet werden, dass das Verfahren in jedem Fall zu Ende geführt werden muss, wie dies der Beschwerdeführer geltend macht.
Kein Anbieter hat ein eigenständiges subjektives Recht auf Verfahrensfortführung. Die Anbieter haben lediglich einen vergaberechtlichen Anspruch auf Gleichbehandlung (im Hinblick auf die Zuschlagserteilung). Solange im Abbruch nicht gezielte Diskriminierung und Missbrauch liegt, haben die Teilnehmer an einem Vergabeverfahren allfällige Ungleichbehandlungen, die sich etwa aus der Neudefinition der Leistungsanforderungen ergeben können, klaglos hinzunehmen. Ihr Gleichbehandlungsanspruch vermag die Auftraggeberin grundsätzlich nicht daran zu hindern, das Beschaffungsvorhaben nach ihren tatsächlichen Bedürfnissen auszurichten (Beyeler, a.a.O., S. 791). Vom Verfahrensabbruch waren neben dem Beschwerdeführer noch die anderen drei Teilnehmer, welche gemäss Urteil des Verwaltungsgerichts vom 7. Januar 2004 in der Auswahl verblieben waren, in der gleichen Weise betroffen. Es kann somit von keiner gezielten Benachteiligung des Beschwerdeführers gesprochen werden.
10.- Der Beschwerdeführer bringt weiter vor, der Abbruch des Vergabeverfahrens sei nicht verhältnismässig. Dass dieser sachlich gerechtfertigt ist und somit auch im öffentlichen Interesse steht, wurde bereits ausgeführt. Entgegen der Einwände des Beschwerdeführers muss ein solcher Verfahrensabbruch nicht unausweichlich sein, verfügt doch die Vergabebehörde bei dieser Entscheidung über einen Ermessensspielraum. Inwiefern der Abbruch nicht geeignet, notwendig und verhältnismässig sein soll, begründet der Beschwerdeführer nicht und wird auch nicht aus den Akten ersichtlich.
11.- Nach dem Gesagten erweist sich die angefochtene Verfügung als rechtmässig. Damit ist die Beschwerde als unbegründet abzuweisen.
Diesem Verfahrensausgang entsprechend hat der Beschwerdeführer die amtlichen Kosten zu tragen (§ 35 Abs. 2 öBG in Verbindung mit § 198 Abs. 1 lit. c des Gesetzes über die Verwaltungsrechtspflege vom 3.7.1972 [VRG; SRL Nr. 40]). Grundsätzlich müsste der Beschwerdeführer dem Beschwerdegegner auch eine angemessene Parteientschädigung leisten (§ 35 Abs. 2 öBG in Verbindung mit § 201 Abs. 1 VRG). Gemäss Praxis des Verwaltungsgerichts hinsichtlich Parteientschädigungen zugunsten von Gemeinwesen ist der anwaltliche Aufwand für die Ausarbeitung der Vernehmlassung, Sonderfälle vorbehalten, nicht zu entschädigen (Urteil V 02 59 vom 15.5.2003, Erw. 5). Dies wird im Wesentlichen damit begründet, dass die Vernehmlassung im Rahmen des Gerichtsverfahrens häufig die Funktion der erforderlichen Begründung übernimmt, ohne dass dem Gemeinwesen konkrete Versäumnisse anzulasten wären. Dies ist hauptsächlich bei Zuschlagsverfügungen der Fall, wo sich eine sachgerechte Begründung, weshalb die berücksichtigte und nicht irgendeine andere Anbieterin den Zuschlag erhalten hat, gar nicht ohne unverhältnismässigen Aufwand erstellen lässt.
Vorliegend war jedoch keine Zuschlagsverfügung zu beurteilen, sondern eine Verfügung betreffend Abbruch des Verfahrens. Die Begründungsdichte der Verfügung geht weit über das in Submissionsverfahren Übliche hinaus. Von daher kann nicht gesagt werden, erst mit der Vernehmlassung sei der Beschwerdeführer ausreichend über die Begründung in Kenntnis gesetzt worden. Deshalb rechtfertigt es sich, dem Beschwerdegegner eine reduzierte Parteientschädigung zuzusprechen.