Idejni začetci osnivanja Hrvatskoga željezničkog muzeja sežu u 1966. godinu kada je zagrebačka željeznička uprava donijela odluku o osnivanju Željezničkog odjela pri Tehničkom muzeju u Zagrebu. Ta odluka nije ostvarena zbog nedostatnoga prostora i premalog broja stručnog osoblja. Deset godina poslije, 27. ožujka 1986, željeznička uprava je u sklopu matične kuće ponovno pokušala osnovati željeznički muzej. Ali ni taj pokušaj nije urodio plodom.

Početkom devedesetih godina prošloga stoljeća skupina zagovornika osnivanja željezničkog muzeja u javnosti je istupila kao Inicijativni odbor za osnivanje željezničkog muzeja u Zagrebu. Članovi odbora bili su prof. dr. Antun Bauer, Emil Bohutinsky, akad. kipar doc. dr. sc. Mladen Bošnjak, Čedomil Čavlina, dipl. ing, Franjo Fajst, inspektor HŽP-a u mirovini i Ivica Paić,dipl. ing.

Dana 19. ožujka 1991. osnovan je Željeznički  muzej Hrvatske u Zagrebu, koji danas djeluje u sklopu HŽ-Infrastrukture d.o.o. Odlukom Uprave HŽ-a od 20. svibnja 2001. muzej je preimenovan u Hrvatski željeznički muzej, pod kojim nazivom djeluje i danas.
U svibnju 1991. godine članovi Inicijativnog odbora u Gliptoteci su, u sklopu 25. zagrebačkog salona lijepih umjetnosti, predstavili projekt Željeznički muzej u Zagrebu te objavili Zbornik radova na temu željezničkog muzeja u Zagrebu. U tekstu kojim objašnjavaju razloge osnivanja i potrebu postojanja željezničkog muzeja članovi Inicijativnog odbora između ostaloga  navode: »Jedan od stvarnih razloga za osnivanje Željezničkog muzeja je specifična ljepota i estetski doživljaj koji željeznica nosi sa sobom i u sebi. Estetika stroja i brzine, ljepota tehničkog dizajna, funkcionalnost i pragmatika tehnologije oslanjaju se na čovjekovu potrebu za svrhovitim, ali i na potrebu za romantikom, za sanjarenjem, za maštanjem. osobito je razdoblje parnih lokomotiva, evocirano filmom ili literaturom, puno ushićenosti putovanjem. Danas su putovanja nešto drugačija i ne vezuju na sebe tolika uzbuđenja, očekivanja i osjećaja avanture i daljina«.

Muzej se od početka razvija u južnom dijelu TŽV-a Gredelj, s ulazom iz Ulice grada Vukovara.
Radioničke hale TŽV-a Gredelj otprije su naznačene kao idealan prostor za prihvat HŽM-ovih zbirka, i to zbog povijesne obilježenosti jednoga od najstarijih željezničkih industrijskih kompleksa u Hrvatskoj, arhitektonske vrijednosti njegovih objekata, očuvanosti izvorne opreme i strojeva s početka 20. stoljeća te semantičke povezanosti ambijenta i građe koja se čuva u HŽM-u.

Na svim stručnim i znanstvenim skupovima isticana je vrijednost hrvatske željezničke industrijske baštine, potreba njezine valorizacije i provedbe reurbanizacije usklađene s očuvanjem baštinskih vrijednosti. Pritom je industrijski kompleks TŽV-a Gredelj uvijek istican kao višestruko povijesno obilježen i idealan za prihvat HŽM-ovih zbirka i oblikovanje muzeja in situ.
Oblikovanje prvoga, privremenoga izložbenog postava na vanjskom otvorenom prostoru površine 2400 četvornih metara počelo je 2003. premještanjem dijela lokomotiva i vagona iz depoa na Zagreb RK i Sisku te njihovim postupnim konzerviranjem. Posljednje uređenje vanjskog izložbenog postava izvedeno je krajem 2018. godine.

Na željezničkim kolodvorima diljem Hrvatske izloženo je 15 parnih lokomotiva iz HŽM-ova fundusa. Lokomotive su na kolodvorima postavljene sredinom osamdesetih godina 20. stoljeća, u vrijeme kada je parna vuča u Hrvatskoj konačno povučena iz prometa. Od tada one su vrijedni spomenici tehničke baštine.
Brigu o njihovu očuvanju i restauriranju Hrvatski željeznički muzej preuzeo je uskoro nakon svojega osnivanja.
Hrvatski željeznički muzej nastavlja svoj rad kao registrirana muzejska ustanova, ali unutar organizacijske strukture HŽ Infrastrukture d.o.o.