Le château de La Garnache serait l'un des plus vieux de la Vendée. Au Xe siècle, une motte castrale est construite pour laisser place en 1045 à une forteresse. Au XIIIe, un château-fort en pierres constitué de six tours rondes et d'une tour carrée, reliées par des courtines. La présence de cette forteresse, donne naissance à une ville fortifiée qui existait encore au XVIIe siècle.

Sa destruction survient pendant le règne de Louis XIII alors que les nobles protestants se soulèvent contre le roi. Sur les conseils de Richelieu le roi ordonne son démantèlement en 1631. Aujourd'hui, le château cherche un nouvel acquéreur !