Nadat het fort officieel in 1958 werd opgeheven leed het een tanend bestaan. Het fungeerde nog een poosje als opslagplaats en werkplaats, maar in 1963 viel het doek helemaal en werd het fort door defensie volledig ontruimd. De cultuur historische waarde werd er beslist nog niet van ingezien.
De Land- en luchtmacht nam haar intrek in de bunker aan de Nieuweweg op 23 september
1967 en richtte er een telefooncentrale in. De gemeente Den Helder wilde het fort wel hebben en na heel wat onderhandelingen won de gemeente het pleit en kreeg vanaf 1967 het begeerde beschikkingsrecht. De grote plannen om er een recreatie- jeugd- en vakantie gebied van te maken met mogelijkheden tot overnachten, kwamen vanwege geldgebrek niet van de grond. Wel werd een eerste aanzet gegeven in 1968 toen tachtig jongeren op het terrein verbleven in wat jeugdvakantiekamp Centrum werd genoemd en waar de jongelui een weekje mochten schoffelen om het gebied wat te ontginnen. Door een chronisch gebrek aan ruimtes voor jeugdorganisaties, werd het fort uiteindelijk als onderkomen hiervoor gebruikt.
In 1969 kocht de gemeente een deel van het fort, maar in de jaren ’70 sloeg de verpaupering toe. De barakken die één grote toneelruimte moesten worden, bleven leeg. Vandalisme was aan de orde van de dag op het terrein waardoor de jeugdorganisaties hun toevlucht elders zochten. De leegstand bevorderde de uitstraling van het gebied niet en het autosloopbedrijf dat er sinds eind jaren ’60 gevestigd was, vertrok eveneens. De gemeente bedacht toen dat tonnen puin en bouwmateriaal van elders uit de stad dan maar op deze plek gestort moesten worden. Het fort werd hierdoor aan het oog onttrokken. De enige uitzondering in deze neerwaartse spiraal was de bunker uit 1882 waar scoutinggroep Minerva in 1972 introk. Officieel werd het onderkomen in 1976 geopend door burgemeester A.P.J. van Bruggen. Ondertussen werd in 1974 ook de telefooncentrale opgeheven en de poging om van de vrijgekomen bunker een opslagplaats voor de gemeente te maken mislukte.
Tegen de stroom in bleef het idee om het fort een educatieve en recreatieve functie te
geven op de achtergrond meespelen en in februari 1988 stelde het college van burgemeester en wethouders een werkgroep in voor het gebied Dirks Admiraal. Bewoners, Milieu en Welzijn en de afdeling Stadsontwikkeling bogen zich over de doelstelling en voerde gesprekken met de Rijksdienst Monumentenzorg en zocht naar gegevens in het Rijksarchief te Haarlem ter ondersteuning van ideeën. Het bleef echter bij plannen maken en ook het tot stand laten komen van een mooie verbinding met het park Quelderduyn heeft tot nu toe nog steeds geen echte invulling gekregen.
Een deel van het fort en de bunker is (wederom) in gebruik. In de bunker boven het fort is een clubhuis voor de jeugd van Tuindorp, in de bunker langs de Nieuweweg een oefenruimte en opnamestudio en men is druk bezig om bunkers en fort schoon te maken. Het scoutinggebouw is nog altijd in gebruik, maar 
helaas staat een groot deel nog nutteloos op een goede invulling te wachten. Stichting Stelling Den Helder geeft echter nooit op en werkt er heel hard aan om van Fort Dirks Admiraal een maatschappelijk cultureel gebied te maken waar jong en oud kunnen recreëren. Als laatste voetnoot is het wellicht leuk te weten dat in de bomvrije kazerne op de eerste verdieping nog een wandschildering van W. Grit uit 1981 valt te bewonderen.
