Památník se nachází v empírovém domě z 19. století, který původně sloužil jako úřednická budova k objektu železáren. Vlastníkem se ve 20. letech minulého století stal podnikatel Václav Palivec, který celý objekt v roce 1935 daroval do doživotního užívání Karlu Čapkovi a jeho manželce, Olze Scheinpflugové.