Anfang des 20. Jahrhunderts begann man damit, historisch wertvolle Objekte für ein zukünftiges Museum zu sammeln. Die Grundlage für das heutige Eisenbahnmuseum bildete die umfassende Abteilung der Schwedischen Staatsbahnen SJ bei der Baltischen Ausstellung im Jahre 1914 in Malmö. Im Anschluss an die damalige Ausstellung wurden einige Räume im Bürohaus der Hauptverwaltung von SJ, in der Straße Vasagatan in Stockholm, als Museum eingerichtet.

Lokomotiven und Waggons konnten aber erst Anfang der 1940er-Jahre gezeigt werden. Dazu errichtete man außerhalb von Stockholm, in Tomteboda, einfache Holzschuppen, die die Museumstätigkeit in Stockholm ergänzten. Kurze Zeit später musste der Museumsteil in der Vasagatan geschlossen werden. In den 1950er- und 1960er-Jahren wurden dann originalgetreue Modelle im Maßstab 1:10 im Stockholmer Hauptbahnhof sowie in der Straße Torsgatan ausgestellt, bevor das gesamte Museum schließlich von Stockholm nach Gävle umziehen konnte, wo es 1970 neu eröffnet wurde. Von 1985 bis 2017 etablierte sich der Name „Sveriges Järnvägsmuseum“ (Schwedisches Eisenbahnmuseum). In den 2000er-Jahren wurde einige Jahre lang auch eine Außenstelle in Ängelholm betrieben.

Das Eisenbahnmuseum steht seit Beginn unter staatlicher Trägerschaft. Im Laufe der Jahre wechselten sich mehrere verschiedene Träger aus dem Eisenbahn- und Transportbereich ab. Ab 1. Januar 2018 ist die Behörde Staatliche Maritime Museen (Statens Maritima Museer) für die Tätigkeit des Museums verantwortlich, das sich nunmehr ganz einfach „Das Eisenbahnmuseum“ –Järnvägsmuseet – nennt.