Die Burganlage wurde 1355 vom Bischof Berthold Burggraf von Zollern errichtet und diente bis 1725 als Bischofssitz. In den nächsten Jahrhunderten wurde die Willibaldsburg von verschiedenen Bischöfen ausgebaut.
Im 17. Jhd. erfolgte der Umbau der Burg zu einer repräsentativen Residenz. 1633 wurde die … mehr lesenBurg von den Schweden erobert aber im gleichen Jahr zurückerobert. Von der 420 m langen Burganlage sind Mauern und Bastionen, das Zeughaus, die 63 m lange Torhalle und der "Gemmingenbau" mit den beiden Türmen erhalten. Im Nordflügel des Gemmingenbaus ist das Jura-Museum mit den bekannten Fossilien der Solnhofener Plattenkalke, im Südflügel ist das Ur- und Frühgeschichtliche Museum untergebracht. 1998 wurde auf der Schmiedbastion der sogenannte Bastionsgarten mit Pflanzen aus dem Hortus Eystettensis eingerichtet.