Stora medierapporter indikerar att slottet ursprungligen byggdes 1081 av normanderna för att skydda Cardiff. Det genomgick betydande renoveringar 1848 under John Crichton-Stuart, 3:e markisen av Bute, som anlitade arkitekten William Burges för att omforma interiören. Burges lade till påkostade möbler och överdådiga detaljer, men dog 1881 av en förkylning han ådrog sig under ett besök på slottet. Hans assistent, William Frame, slutförde interiören 1891. Markisen besökte dock sällan slottet efter dess färdigställande, och det förföll.
Efter markisens död 1900 övergick slottet till hans hustru och senare till en annan ättling. 1950 överlämnades det till Ministry of Works, och det fick officiell byggnadsminnesstatus 1963. Sedan 1980-talet har Cadw ansvarat för slottets bevarande. Slottet är öppet för allmänheten och röstas ofta fram som en av de mest älskade byggnaderna i Wales.