Im 17. Jahrhundert residierte in der Burg Saga in der gleichnamigen Stadt gelegen der Nabeshima Clan. Im Jahre 1611 wurde durch den Ausbau des innersten Bezirks die Burg  fertiggestellt und die Familie nahm dort ihren Wohnsitz. Von 1614 bis  1615 wurde der äussere Burgbereich ausgebaut. 1726 gingen durch einen  Brand der Burgturm, das innere (Honmaru) und äussere (ni no maru)  Gebäude  verloren, die später wieder aufgebaut wurden.

Ende des  19. Jahrhunderts wurden die Gebäude der Burg abgerissen. Der östliche  Graben und der Graben um die innere Burg wurden zugeschüttet. Erhalten  blieb nur noch das Tor zur inneren Burg. In den letzten Jahren wurde die  Residenz teilweise dem Original entsprechend wieder aufgebaut. Sie  dient heute als Präfekturmuseum und beinhaltet die Geschichte der Burg.  Auf dem Burggelände befindet sich auch die Präfekturverwaltung, eine  Schule, Sportanlagen und private Wohngebiete.