In passato di proprietà del Regno di Borgogna, il castello passò poi nelle mani di diverse famiglie di conti e anche dei Prussiani prima di essere acquisito dal Cantone di Neuchâtel e di diventare sede del governo. Vi ha sede anche il Parlamento cantonale, il Gran Consiglio.

Le sue possenti torri funsero in parte da carcere, ma alcune anche da abitazioni. Una parte di esse fu costruita ancor prima dell’anno 1000. La facciata riccamente decorata dell’ala sud è in stile romanico. Accanto al castello si trova la chiesa gotico-romanica di Notre-Dame con un chiostro che merita sicuramente una visita. Il castello e la collegiata formano un tutt’uno architettonico. Il castello è circondato da giardini e dal piazzale antistante l’edificio si gode di una splendida vista panoramica sulla città e sul lago.