かつて安祥城あんじょうじょうは安祥松平家（徳川本家）の居城として重要な位置をしめており、しばしば織田と松平の争奪戦の舞台ともなりました。
清康が家臣に殺される「森山崩れ」が起きて松平氏が弱体化すると、織田信秀おだのぶひでが落城させ、織田信広を城代において支配するようになります。
その後、松平広忠まつだいらひろただこれを取り戻そうと軍勢を送り戦うも目的をはたせず、かえって織田信秀に岡崎城おかざきじょうを攻撃されて降伏するという結果になりました。
嫡男の竹千代が織田の人質としてとられたのはこの時の事でした。
こうした中で弱体化した松平は松平広忠は今川義元に協力をもとめるようになります。
天文18年（1549年）広忠が病没すると、同年3月に今川義元は太原雪斎率いる約１万の軍勢で安祥城を攻め、何度かの攻撃の末に落城させます。
城代の織田信広は捕縛され、竹千代との人質交換として利用され竹千代は駿府に送られることになります。
安祥城には主のいなくなった松平氏に代わり、今川によって城番が置かれ（天野景泰、井伊直盛）今川の支配下にはいりますが、
桶狭間の戦いで今川義元が討ち死にすると、再び松平のものとなりました。
その後、織田氏との間に清洲同盟が締結されるようになると安祥城の価値は薄れ、永禄5年（1562年）ごろ廃城となりました。