1858년 다이로 이이 나오스케(いいなおすけ)가 주도한, 막부 반대파 탄압인 '안세이 대옥'이 시작되며 잇키바시파의 겟쇼가 쫓기는 신세가 된다.
사이고 다카모리 등은 숨겨주었지만, 사쓰마번은 겟쇼의 보호를 꺼려 '휴가로의 추방=살해'를 명령했다.
모든 것을 깨달은 두 사람은 죽음을 각오하고 바다로 향해 투신한다.
겟쇼는 사망했고, 간신히 살아남은 사이고 다카모리는 몸을 숨기기 위해 아마미오시마로 유배되어 이름도 기쿠치 겐고(きくちげんご)로 바꿨다.
이후 오쿠보 도시미치의 공작으로 사쓰마번으로 돌아오지만, 실권을 쥔 시마즈 히사미쓰(しまづひさみつ)의 노여움을 사 도쿠노시마, 오키노에라부섬(おきのえらぶじま)으로 다시 유배된다.
한편 사이고 다카모리가 유랑하던 일본은, 잇따른 역사적 사건으로 긴장이 고조되고 있었다.
1862년 사쓰마번사가 영국인을 살해한 '나마무기 사건'이 일어나고, 이듬해 영국이 보복한 '삿에이 전쟁'으로 발전한다.
또한 사쓰마번 등이 존양파 세력을 교토에서 축출한 '8월 18일의 정변'으로 조슈번과의 관계도 악화됐다.
결국 시마즈 히사미쓰는 막다른 길에 몰리고, 인재 부족을 한탄하던 사쓰마번 내부의 요구 속에 사이고 다카모리는 사면된다.
약 1년 반 만에 돌아온 사이고 다카모리는 군부야쿠 겸 쇼한 오셋케이(군의 최고 사령관·외교 책임자)에 임명되며, 사쓰마번의 중신으로 자리 잡아간다.