Зачеци организованог прикупљања и чувања архивске грађе јављају се у 19. веку у тадашњој Кнежевини Србији. Друштво српске словесности је 1848. године почело да сакупља материјал и податке о новој српској историји који сведоче о развоју српске државности, а настали су радом државних органа, институција и појединаца. Од тада датира идеја о оснивању Државног архива у Србији чији задатак би био чување ове документације.
Доношењем Закона о Државној архиви Краљевине Србије, децембра 1898. године, ова идеја је реализована, а већ 1900. године почела је градња зграде данашњег Архива Србије. Ова зграда подигнута је према пројекту архитекте Николаја Петровича Краснова, руског емигранта, запосленог у архитектонском одељењу Министарства грађевина Краљевине СХС / Југославије. Архив Србије је усељен у новоподигнуто здање тек 1928. године.
У првим годинама постојања Државне архиве, установа се суочавала са многим проблемима, од којих су најзначајнији недостатак стручног кадра и адекватног смештајног простора.