
Det første Graasten Slot var et lille jagtslot opført i midten af 1500-tallet. Efter at slottet nedbrændte i 1603, opførtes et nyt slot - sandsynligvis beliggende, hvor det nuværende slots sydfløj er placeret.
Under storkansleren Frederik Ahlefeldt, der var ejer af Graasten 1662-82, og dennes søn opførtes kort før år 1700 et vældigt barokslot, der imidlertid nedbrændte i 1757. Alene slotskirken og nogle få pavilloner blev bevaret. Det nuværende Graasten Slot stammer således fra 1759, hvor en ny sydfløj blev opført, og fra 1842, hvor midterbygningen blev opført. I begyndelsen af forrige århundrede blev der foretaget betydelige ombygninger. Augustenborgerne ejede Graasten Slot fra 1725 til 1852, hvor det blev overtaget af Frederik 7. Efter 1864 blev slottet igen overtaget af Augustenborgerne.


I 1920 overtog Staten slottet, og det blev herefter anvendt til blandt andet retslokale, bolig for dommer og politimester samt bibliotek. I 1935 blev Graasten Slot, efter en omfattende restaurering, overdraget som sommerbolig til det daværende Kronprinspar (senere Kong Frederik 9. og Dronning Ingrid).
Kong Frederik og Dronning Ingrid tilbragte somrene på Graasten Slot. Slottet er efter Dronning Ingrids død overtaget af Dronningen, der fortsætter traditionen med at anvende slottet i løbet af sommeren.

