Ústav sídlil v pseudogotickém zámečku, postaveném v roce1865. Majitelem byl velkostatkář Horský. V pozdějším období se vystřídalo na zámku hned několik majitelů, mezi které patřil i Jan Kubelík, houslový virtuos, který jej koupil v roce 1904. Narodil se zde i jeho syn Rafael. Posledním majitelem byl Dominik Čipera. V roce 1957 byl do Býchor přemístěn Dětský domov z Kolína. V roce 1994 byly budovy zámku, přístaveb a přilehlého parku vydány současnému majiteli panu Janu Čiperovi. V roce 2000 se děti přestěhovaly do budovy bývalé mateřské školky, která prošla rozsáhlou rekonstrukcí včetně přístaveb ubytovacích pavilonů, tělocvičny, venkovních sportovišť a nástavby odborných učeben a rodinných skupin.
