Budowę rezydencji rozpoczęto wiosną 1933. Pewne wskazówki w postaci projektu plastycznego stylizowanych swastyk, wyrzeźbionych następnie na belkach stropowych sali kominkowej, wniósł Adolf Hitler. Obiekt przekazano Forsterowi 26 lipca 1933, jako prezent od führera i miejscowej komórki NSDAP z okazji jego 31 urodzin. W swojej rezydencji przebywał okresowo do 27 marca 1945. Tu omawiano szczegóły i zapadały najbardziej zbrodnicze decyzje w historii Pomorza.

Do wybuchu II wojny światowej rezydencja pełniła również funkcję tajnego magazynu broni.

W czerwcu 1939, w obecności Heinricha Himmlera przygotowywano tu szczegóły operacji "Tannenberg", m.in. listy aresztowań i likwidacji Polaków z terenu WMG i Pomorza. W lipcu 1939 tutaj zapadła decyzja utworzenia obozu koncentracyjnego we wsi Stutthof (KL Stutthof).

Możliwe, że tutaj też zapadła decyzja o ataku na Westerplatte, gdyż w rozkazach operacyjnych OKW na dzień 1 września 1939 jej nie było... – rozkaz dotyczył jedynie blokowania polskiej składnicy tranzytowej.