SVZ Hrastovec je bil ustanovljen leta 1948 pod imenom Dom za duševno defektne in mladino. V skladu s takratno družbeno klimo, v slovenskem prostoru podprto z razvojem psihiatrične stroke pod vodstvom prof. dr. Leva Milčinskega, ki ni bila značilna samo pri nas, ampak v večini evropskih držav, je tedanje ministrstvo za socialno skrbstvo leta 1947 poiskalo primerno lokacijo za nastanitev »duševno defektnih« oseb prav v osrčju Slovenskih goric med Mariborom in Lenartom v današnjem gradu Hrastovec.

V socialno skrbstveni zgodovini je zapisano, da se je v tistem času v Sloveniji organizirala skrb za ostarele, onemogle in defektne. Takratno ministrstvo je nekaj sredstev vložilo tudi v manjšo obnovo gradu, predvsem v smislu prilagoditve za potrebe novega doma za »duševno defektne odrasle in mladino«.

Tako je oblast LR Slovenije 22. oktobra 1948 ustanovila Dom za duševno defektne Hrastovec pri Mariboru in ga opredelila kot socialno zdravstveni zavod.V kronologiji zavoda lahko preberemo, da so bili prvi stanovalci, vključno z maloštevilnim strokovnim osebjem, prepeljani in nameščeni iz Zavetišča Sv. Jožefa v Ljubljani. Le eden je bil iz takratne Splošne bolnišnice v Mariboru.

Leta 1955 je v Domu v Hrastovcu živelo že 330 stanovalcev.

Tega leta je bila odprta nova enota v oddaljenem gradu Cmurek, znana pod imenom enota Trate, ki je več ni, saj so njeni stanovalci razseljeni v prijaznejše oblike bivanja.

Število stanovalcev obeh enot se je v tem letu povzpelo na 437, kar nedvomno kaže na pragmatičnost in ozkost takratne doktrine skrbi za ljudi s posebnimi potrebami.

V letu 1968, torej 13 let kasneje, je bilo v obeh enotah že 706 stanovalcev.