Kronobageriet, som är statligt byggnadsminne, uppfördes på 1640-talet och bageriverksamheten pågick oavbrutet fram till 1958. Genom århundraden har Kronobageriet förknippats med svensk stormaktstid och arméhistoria, men sedan mer än 40 år tillbaka har det fungerat som museum för musik och scenkonst.
Efter en genomgripande ombyggnad flyttade Musikmuseet in 1979. 2012 startade planeringen av en välbehövlig renovering och ombyggnad, för att möta dagens krav, tillsammans med hyresgästen Musikverket och Statens fastighetsverk. Ombyggnaden slutfördes 2017 då Scenkonstmuseet öppnade igen.