O castelo non foi sempre como o vemos hoxe en día, senón que tivo diversas reformas e reconstrucións que mudaron sucesivamente o seu aspecto. Os construtores da fortaleza parece que deberon ser os Mariño, a finais do século XII ou comezos do XIII. O rei Afonso IX de León e Galicia doaba as parroquias de Vimianzo e Cambeda a esta familia que así comezaron a exercer o señorío das terras do Val, entre outros lugares do occidente galego.
O aspecto do primeiro edificio, da “casaforte de Vimianço", apenas o podemos intuír, xa que non quedan practicamente vestixios. Só as escavacións realizadas nos anos 80 revelaron a existencia dunha gran torre, no que hoxe é o patio, da que podemos observar os alicerces. A carón dela vemos tamén os restos dun forno, posiblemente para a elaboración de pan. Ademais, baixo os muros actuais aínda se ven restos da primitiva construción e tamén restos da antiga muralla.
A finais do século XIV o castelo deixará de ser dos Mariño, trala poxa de propiedades de Rui Soga de Lobeira, quen foi degolado en Noia por desobediencia ao rei. Tras sucesivos cambios de dono, a fortaleza chegará a mans finalmente dos Moscoso de Altamira a mediados do século XV, grazas á dote recibida no casamento entre Rui Moscoso e Xoana de Castro e Lara.
A familia dos Moscoso foi unha liñaxe moi destacada que tiña o seu centro de acción nas terras de Compostela. Precisamente, co Arcebispado chegarán a ter varios conflitos, un dos de máis sona a prisión do bispo Alonso de Fonseca e Acevedo. O señor Bernal Eáns de Moscoso, como vinganza porque a mitra lle restase poder, meterá nunha gaiola ao bispo e levarao desde Noia ao castelo de Vimianzo. Dise que até foi pendurado dunha cheminea! O secuestro de Alonso durou máis de dous anos, cando finalmente será liberado tras unha guerra a cambio do seu desterro a Redondela.
Poucos meses despois deste feito, en 1467, prodúcese un feito decisivo na historia de Galicia e do Castelo, o que se coñece como a Guerra Irmandiña. O pobo cansado pola presión económica exercida polos señores feudais e polos abusos e violencia exercidos sobre eles, decide tomar ao asalto as fortalezas. Este acontecemento vai provocar a fuxida de toda a gran nobreza galega cara a Castela e Portugal, sendo destruídas ou seriamente danadas a maioría das fortificacións existentes. O mesmo lle aconteceu ao Castelo de Vimianzo, que será tomado ao asalto. Actualmente, o primeiro sábado de xullo, celébrase unha festa que lembra este feito histórico.
A rebelión non durou moito. Os nobres escapados reorganizáronse en Portugal e Castela e, coa axuda da aristocracia local, emprenderon a recuperación das súas posesións no ano 1469. Coa caída dos irmandiños curiosamente será o bispo Alonso de Fonseca e Acevedo, quen estivera preso en Vimianzo o que ordena a reconstrución do Castelo. Porén, uns anos máis tarde, un dos Moscoso, Lopo Sanches de Moscoso, autoproclamado primeiro Conde de Altamira, recuperará Vimianzo pola forza das armas.
A finais do s. XV os Condes de Altamira abandonarán Galicia como a maior parte da alta nobreza galega, para residir na corte e estar máis preto dos reis. A administración das súas posesións quedará en mans de figuras que se denominarán alcaides ou meiriños. Isto mesmo acontecerá en Vimianzo. O conde rara vez retornará a Galicia e serán subordinados nomeados por el os que gobernarán o Castelo, cobrarán as rendas e remitiranas aos seus propietarios na corte. Deste xeito o Val de Vimianzo nútrese de fidalgos que construirán casas grandes e pazos, como o fermoso de Trasariz.
Esta situación manterase relativamente estable até o s. XIX. Os Altamira irán asentando pouco a pouco o seu poder até chegar a ser unha das familias máis influentes na vida pública do Estado. No Castelo residirán sucesivos alcaides e acometeranse diversas reformas, que non son doadas de apreciar porque falta aínda o pertinente estudo. A máis grande seguramente a parte de vivenda, onde hoxe se pode ver hoxe a Mostra de Artesanía ao Vivo.
A última gran reforma foi realizada a finais do s. XIX por Evaristo Martelo Paumán del Nero. Parece ser que nesta época o Castelo estaba en bastante mal estado e acometeu unha serie de obras para facelo habitable. Marqués de Almeiras e visconde de Andeiro, é autor de diferentes estudos xurídicos, pero sen dúbida o máis destacable é a súa face poética: Os afillados do demo (1885), Líricas gallegas (1894) ou Landras e baias (1919) son algúns dos seus títulos máis destacados. Xunto co seu amigo Eduardo Pondal e moitos outros persoeiros da época foi unha das figuras do Rexurdimento, o movemento de renacer da lingua e cultura galegas. O poeta deixou unha profunda pegada na vila, sendo coñecido este castelo posteriormente como Torres de Martelo.
Finado xa Evaristo, en 1936 o goberno municipal de Vimianzo decide expropiar o castelo e transformalo na casa do concello e crear outros servizos públicos na súa contorna. O golpe de Estado fixo que a lectura da expropiación das Torres se virase todo un acto simbólico de resistencia, sendo penduradas na torre de homenaxe tres bandeiras: unha da República española, unha comunista e unha socialista ou sindical. Por este acto foron perseguidos, represaliados e asasinados varios dos participantes e familiares.
Unha vez que os franquistas devolven a propiedade aos Martelo, esta fortaleza vai sufrir un abandono total e incluso un incendio. Dolores Martelo de la Maza, solteira e sen descendencia, cedeu ao falecer a fortaleza ao Arcebispado de Santiago. Finalmente no 1973 foi comprado pola Deputación da Coruña, que o acondicionou para a súa visita. A través das accións comprendidas no Plan de Dinamización Turística da Costa da Morte, acondicionouse a zona de artesanías e tamén se converteu unha das torres en centro de interpretación da Costa da Morte.