Kuigi Rahvusarhiiv alustas tegevust 1. jaanuaril 1999. aastal oli riiklik arhiivisüsteem loodud juba Eesti Vabariigi algusaastatel. 3. märtsil 1920. aastal tegi arhiivikomisjon ettepaneku rajada Tartusse tegevuse lõpetanud oluliste institutsioonide dokumentide säilitamiseks Riigi Keskarhiiv ning jätkuvalt tegutsevate asutuste dokumentide hoidmiseks Tallinnasse Riigiarhiiv. Nõukogude okupatsiooni ajal jäid arhiivid alles kuid nad struktureeriti ümber ning neid valitseti Moskvast. Eesti taasiseseisvumise järel taastati 1990ndatel arhiivide endine struktuur. Vastavalt 1998. aastal vastu võetud arhiiviseadusele alustas Rahvusarhiiv tegutsemist 1. jaanuaril 1999. aastal. Arhiivi struktuur koosnes Ajalooarhiivist Tartus, Riigiarhiivist ning Filmiarhiivist Tallinnas ning 15 maaarhiivist. Seoses Rahvusarhiivi uue hoone valmimisega muutus 2017. aastast struktuur ning praegu koosneb Rahvsarhiiv Tartus, Tallinnas, Rakveres ja Valgas asuvatest üksustest.
Rahvusarhiiv on teinud suuri edusamme digiteerimisel, praeguseks on Rahvusarhiivi infosüsteemis Saaga vabalt saadaval väga suur hulk digiteeritud dokumente.
