En 1858 débuta la purge d’Ansei, répression des opposants au shogunat menée principalement par le grand conseiller Ii Naosuke, et Gesshō, partisan de la faction Hitotsubashi, fut pourchassé.
Saigō Takamori et ses compagnons le cachèrent, mais le domaine de Satsuma, réticent à le protéger, ordonna son « bannissement à Hyūga », autrement dit sa mise à mort.
Comprenant parfaitement ce qui les attendait, les deux hommes entrèrent dans la mer, résolus à mourir.
Gesshō mourut, mais Saigō Takamori survécut de justesse. Pour se cacher, il fut exilé sur l’île d’Amami Ōshima et prit le nom de Kikuchi Gengo.
Il revint ensuite dans le domaine de Satsuma grâce aux manœuvres d’Ōkubo Toshimichi, mais provoqua la colère de Shimazu Hisamitsu, qui détenait le pouvoir réel, et fut de nouveau exilé, d’abord sur l’île de Tokunoshima puis sur celle d’Okinoerabu.
Pendant son exil, le Japon traversait une période de tension marquée par une succession d’événements historiques.
En 1862 eut lieu l’incident de Namamugi, au cours duquel des samouraïs de Satsuma tuèrent un Britannique. L’année suivante, les représailles britanniques déclenchèrent la guerre anglo-satsuma.
Par ailleurs, les relations avec le domaine de Chōshū se détériorèrent après le coup d’État du 18 août, lors duquel Satsuma et d’autres domaines chassèrent de Kyoto les partisans du mouvement sonnō jōi.
Shimazu Hisamitsu se retrouva alors dans une impasse et Saigō Takamori fut gracié, son retour étant réclamé au sein d’un domaine de Satsuma qui déplorait le manque d’hommes compétents.
De retour après environ un an et demi, il fut nommé gunbuyaku ken shohan ōsetsu-gakari, soit commandant suprême de l’armée et responsable des affaires diplomatiques, et devint l’un des hauts dignitaires du domaine de Satsuma.