I 1935 overtog Frederik 9. og Dronning Ingrid brugsretten til Graasten Slot, og slottet har siden fungeret som sommerbolig for den kongelige familie.

Det første Graasten Slot var et lille jagtslot opført i midten af 1500-tallet. Efter at slottet nedbrændte i 1603, opførtes et nyt slot - sandsynligvis beliggende, hvor det nuværende slots sydfløj er placeret.

Under storkansleren Frederik Ahlefeldt, der var ejer af Graasten 1662-82, og dennes søn opførtes kort før år 1700 et vældigt barokslot, der imidlertid nedbrændte i 1757. Alene slotskirken og nogle få pavilloner blev bevaret. Det nuværende Graasten Slot stammer således fra 1759, hvor en ny sydfløj blev opført, og fra 1842, hvor midterbygningen blev opført. I begyndelsen af forrige århundrede blev der foretaget betydelige ombygninger. Augustenborgerne ejede Graasten Slot fra 1725 til 1852, hvor det blev overtaget af Frederik 7. Efter 1864 blev slottet igen overtaget af Augustenborgerne.

I 1920 overtog Staten slottet, og det blev herefter anvendt til blandt andet retslokale, bolig for dommer og politimester samt bibliotek. I 1935 blev Graasten Slot, efter en omfattende restaurering, overdraget som sommerbolig til det daværende Kronprinspar (senere Kong Frederik 9. og Dronning Ingrid).

Bemærk at der i forbindelse med kongeligt ophold på slottet ikke er offentlig adgang til slotshaven.

Vagtskifte
I forbindelse med Majestætens sommerophold på Graasten Slot vil Den Kongelige Livgarde hver dag marchere ​​​​​​gennem Gråsten by til slottet ledsaget af to tambourer fra Tambourkorpset fra Den Kongelige Livgarde. Om fredagen gennemføres vagtskiftet med deltagelse af Den Kongelige Livgardes Musikkorps og/eller Tambourkorpset, og vagtskiftet foregår i slotsgården.

Garderne vil marchere fra ”Det Gule Palæ”, Ahlefeldtvej 5, kl. 11.43 via Borggade, Torvet og Slotsgade til slottet, hvor der vil være vagtskifte kl. 12.00 foran vagtbygningen.