전신은 1441년에 야마나 다다마사가 축성한 쓰루야마성이며, 오닌·분메이의 난으로 폐성되었다. 이후 오다 노부나가의 측근으로 알려진 모리 란마루의 동생 모리 다다마사가 ‘쓰루야마’를 ‘쓰야마’로 고치고 축성을 시작했다. 1604년부터 13년의 세월을 들여 장대한 성이 완성되었고, 일본 3대 히라야마성 중 하나가 되었다.
축성 당시에는 오층 천수각이 세워진 혼마루 주변에 니노마루, 산노마루가 배치되고, 80동 이상의 고텐과 망루, 성문 등이 설치되어 있었다고 한다. 메이지 시대의 폐성령으로 건물은 철거되었지만, 높이 10m에 이르는 훌륭한 고석벽은 축성 당시의 모습 그대로다.
쓰야마성 최대의 망루로, 천수에 버금가는 존재감이 있었다고 전해지는 빗추 망루는 축성 400주년 기념사업으로 복원되었다. 망루로는 드물게 다다미를 깐 방이 있으며, 본전과 회랑으로 연결되어 있었던 점에서 본전의 일부로 사용되었다고도 여겨진다. 천수가 세워져 있던 천수대 부근에서는 쓰야마 시가지를 한눈에 내려다볼 수 있다.
성터 주변은 쓰루야마공원으로 정비되어, 약 1000그루의 벚꽃이 만개하는 명소로도 알려져 있다. 시즌 중에는 라이트업된 벚꽃을 석벽 위에서 볼 수 있다.