Su historia comenzó en el año 13 de Tenshō (1585), cuando Hashiba Hideyoshi, posteriormente conocido como Toyotomi Hideyoshi, tras pacificar Kishū, ordenó construirlo a su hermano menor Hidenaga. Se erigió en el monte Torafusu, en el curso bajo del río Kinokawa, y su vasallo Kuwayama Shigeharu asumió el cargo de gobernador del castillo de Wakayama y, posteriormente, se convirtió en señor del castillo. Después de la batalla de Sekigahara, el nuevo señor, Asano Yoshinaga, emprendió la construcción de un complejo de torres del homenaje conectadas. Además de desarrollar la ciudad fortificada, construyó residencias no solo en el actual recinto principal, sino también en los recintos Ninomaru y Nishinomaru. En el año 5 de Genna (1619), el castillo pasó a manos de Tokugawa Yorinobu, décimo hijo de Tokugawa Ieyasu.
Desde la gran torre del homenaje, blanca y de tres niveles, se contempla el curso del Kinokawa, un río de categoría A, así como una vista panorámica de la zona urbana formada a su alrededor. Entre sus numerosos puntos de interés también se encuentran el puente Ichinohashi, la puerta Ōtemon y la puerta Okaguchimon, que se conserva desde la época del dominio feudal. Destaca especialmente el espléndido jardín Nishinomaru, célebre como lugar de belleza paisajística. Se trata de un jardín de paseo en torno a un estanque que conserva claramente la atmósfera de los jardines de los señores feudales de principios del período Edo y se caracteriza por aprovechar hábilmente la ladera del monte Torafusu. Aunque se dice que fue diseñado por Kobori Enshū, existen diversas teorías, entre ellas la que atribuye su creación a Ueda Sōko, quien fue un alto vasallo del clan Asano.
