Lokalene i rådhuset var ment å være en foreløpig løsning , og arbeidet for å skaffe museet rommeligere og mer tilgjengelige lokaler i et eget bygg kom snart i fokus.
Arealet som ble disponert var 300 m2 stort og samlingen ble fordelt i et rom for typologiske grupperinger, en bondestue, et bøkkerverksted, en sjøfartsavdeling og endelig en bystue.
Det ble raskt trangt om plassen og etter et besøk av museumsdirektør Robert Kloster på 50 -tallet uttalte denne at "Siden museet fikk sine lokaler i rådhuset har arbeidet skutt en gledelig fart. På en rekke områder har tilveksten vært påfallende rik og av høy kvalitet. En annen side av saken er at dette jevne tilsig fra år til annen har sprengt den opprinnelige ramme og gjort utstillingsrommene til overfylte magasiner og magasinene til pulterkammer. Dette vil igjen si at museet mot sin vilje har tapt sitt ansikt utad mot publikum og i løpet av kort tid vil være uskikket til å utføre sin faglige oppgave av mangel på plass.
Museet ble allikevel værende på loftet til midten av 80- tallet før det fikk sine nåværende lokaler.