Der 'Fruchtkasten', ab und an auch als Stiftsfruchtkasten benannt, fand seine erste Erwähnung im Jahr 1393 als 'Herrschaftliche Kelter'. Errichtet wurde er neben der Stiftskirche in Stuttgarts Zentrum. Von diesem ursprünglichen Bau sind jedoch keine Fragmente mehr vorhanden. Der heute am Schillerplatz, ehemals Schlossplatz des Alten Schlosses, stehende Bau kann bis ins Jahr 1578 zurück datiert werden. Unter dem württembergischen Hofbaumeister Heinrich Schickhardt wurde der 'Fruchtkasten' im Zuge der Neugestaltung im Auftrag von Herzog Friedrich I. von Württemberg als Kelter errichtet.
Da die Giebelfront zum Schlossplatz um ca. 5 m über die damals bereits vorhandene Bauflucht hinaus ragte, hat der Bau unter erneuter Planung Schickhardts 1596 eine neue Fassade in genauer Flucht des Chores der unmittelbar benachbarten Stiftskirche erhalten.
Mit seinen Stockwerksgesimsen, den sog. Voluten, den Fenstern in axialsymmetrischer Anordnung, sowie den Ladeluken weist die Neugestaltung des Giebels typische Stilelemente der süddeutschen Renaissance auf. Bekrönt wird der Giebel von einer auf einem Fass reitenden Bacchus-Figur, welche auf die ursprüngliche Funktion des 'Fruchtkastens' verweist.
1944 brannte das Gebäude aus, im Jahr darauf stürzte der Giebel ein. In den 1950er Jahren wurde die Giebelfassade soweit möglich in ihrer ursprünglichen Gestaltung wieder aufgestellt. Die Innengestaltung wurde der damaligen Zeit angepasst. Zu Beginn der 1990er Jahre fand eine umfangreiche Sanierung statt.
Heute beherbergt der Fruchtkasten das Musikinstrumentenmuseum des nahen Landesmuseums Württemberg, und ist heute ein Kulturdenkmal im Eigentum des Landes Baden-Württembergs.
Zusammen mit dem Alten Schloss, der Alten Kanzlei, der Stiftskirche, dem Haus König von England und dem Prinzenbau bildet der Fruchtkasten die Umsäumung des Schillerplatzes.