Anfang der 1930er Jahre erlebte das Museum eine Blütezeit. Erstmals standen die Abgüsse in lichtdurchfluteten, schönen Ausstellungssälen und es gab genug Platz, um die Statuen mitten im Raum aufzustellen.

Doch 1937 wendete sich das Blatt. Die Gipse mussten der Ausstellung ›Entartete Kunst‹ weichen, mit der die Nationalsozialisten Werke diffamierten, die nicht ihrer Kunstauffassung entsprachen. Danach öffnete das Museum 1938 erneut, doch es wurden kaum noch Gipsabgüsse angekauft.

Ab 1939 verschlechterte sich die Lage zusehends: Das Personal wurde in den Krieg eingezogen, und Abteilungen des Reichsarbeitsdienstes und der Deutschen Arbeitsfront beschlagnahmten einige Ausstellungsräume. 1944 trafen erstmals Bomben das Gebäude. Am 7. Januar 1945 zerstörten ein Bombentreffer und nachfolgende Brände eine der damals größten deutschen Abguss-Sammlungen mit 2.398 Objekten.