Bereits während die Bauarbeiten für das nahe gelegene Schloss Solitude noch liefen, ließ Herzog Carl Eugen von Württemberg 1768 das Lustschloss 'Bärenschlössle' unter Reinhard Ferdinand Heinrich Fischer als zweigeschossigen Pavillon-Bau am Bernhardsbach errichten.

Ehemals war es wohl eines der schönsten Fachwerkhäuser der Stadt. Einige Quellen schreiben gar, dass es bis zu seiner Zerstörung am 26. Juli 1944 das prächtigste Fachwerkhaus Stuttgarts gewesen sei. Die Ursprünge des ehemaligen Gasthauses und späteren Cafés 'König von England' gehen bis ins 16. Jahrhundert zurück.