Der Fürstenhof wurde erstmals im Jahre 1187 erwähnt. Über 350 Jahre lang wohnten hier die gekrönten Häupter der Familien Hohenstaufen und Habsburg, wie die Kaiser Friedrich III. und Maximilian I. Um 1600 wurde das Haus als Patrizierpalast nach italienischem Vorbild umgebaut.
Angeschlossen ist der Londoner Hof, der 1764 vom Rathsherren und Handelsmann Johann Christian Fehr errichtet wurde. Seine Rococo Fassade wird ergänzt durch ein prachtvolles Treppenhaus.