Po wybudowaniu kościoła i jego konsekracji w 1868 roku, grzebano jeszcze zmarłych na najstarszym cmentarzu parafialnym. Parafia wystarała się o otwarcie szerokiego wokół kościoła cmentarza w 1872 roku, kiedy ukończono wszelkie prace związane z kościołem i zakupiono oraz zawieszono dzwony na wieży kościelnej w tymże właśnie roku.
Ulica Staromiejska stanowiła pierwotnie główny trakt wioski Zabrze. Dopiero po wytyczeniu Kronprinzenstrasse (dzisiejszej ulicy Wolności), wioskowa droga straciła na znaczeniu. Prawdopodobnie wcześniej nazywano ją prosto: Chaussee (szosyjo). Najstarszy cmentarz położony był wokół starego, drewnianego kościółka św. Andrzeja, w miejscu, gdzie dzisiaj znajduje się kapliczka, szerokość tego cmentarza dobrze wytycza ogrodzenie zabudowań farskich, czyli do pierwszej uliczki. W 1677 roku płot cmentarz otoczono drewnianym ogrodzeniem. Ta stara część wg. Zapisu z 1725 roku była wystarczająco duża dla potrzeb grzebania zmarłych parafian. 2 IV 1857 roku na podstawie umowy ks. Filipa Kitty i rad gmin wiejskich tworzących parafię, zamieniono część ogrodu parafialnego pomiędzy kanałem odwadniającym (główna sztolnia dziedziczna) a wiejską drogą na cmentarz (1 morga i 8 rut kwadratowych ok. 0,25 ha). Teren ten położony jest na wschód od najstarszej części cmentarza aż do kamienicy przy Staromiejskiej, tak jak to dzisiaj ma się na rzeczy. Władze państwowe wyraziły zgodę na zmianę roli na cmentarz w 1859 roku. Po śmierci ks. prob. Henryka Neumanna, ulica otrzymała jego patronat, a najstarszy cmentarz zaczęto od tego czasu nazywać cmentarzem Henryka. W 1894 roku na cmentarz sprowadzono najstarszy zabytek sztuki kamieniarskiej Zabrza – statuę św. Jana Nepomucena z 1778 roku, która znajdowała się na drodze przy wjeździe do dawnego dworu zabrzańskiego. Ponieważ w tym miejscu rozrastała się huta Donnersmarcka, postanowiono ów cenny zabytek przenieść na cmentarz.
Trzeci cmentarz parafialny założono na roli farskiej w 1899 roku. Wtedy to dobiegła końca budowa nowego probostwa (1898-1899). Wytyczoną część roli proboszczowskiej od ulicy Henryka do ulicy Wolności a granicą zabudowań farskich i parcelą sióstr zakonnych z drugiej strony oddano na cele grzebalne.
„Michała”- cmentarz ten został założony przez ks. Oswalda Sonncka w 1920 roku, na należących do drobnych gospodarzy polach uprawnych. Wcześniej pola te zostały przedzielone szlakiem kolejowym i przez to zmalała ich użyteczność. Na tym terenie po drugiej wojnie światowej, gdy ówczesna władza szukała miejsca pod cmentarz, został również założony cmentarz komunalny. Patronem tego cmentarza został wybrany św. Michał Archanioł. Kiedy w 1929 roku umarł ks. Oswald Sonneck (po 16 latach proboszczowania), został jako jedyny z proboszczów parafii św. Andrzeja na nim pochowany. Na terenie tej nekropolii, w pobliżu grobu założyciela cmentarza został też wydzielony sektor dla ojców kamilianów.
Na roli parafialnej należącej do parafii św. Andrzeja w 1905 roku założono cmentarz dla nowej parafii św. Anny – poświęcenie cmentarza odbyło się 31 grudnia 1905 roku. w 1931 roku przy tym cmentarzu wytyczono obszerny cmentarz. Do 1945 roku był on wspólną własnością wspólnot św. Józefa, św. Andrzeja i Ducha Świętego, tworzących tzw. Wspólny Zarząd Kościelny (Pfarrverband). Po 1945 roku cmentarz ten stał się własnością parafii św. Józefa. Parafia Ducha Świętego otrzymała pozwolenie na dokonanie pochówków w części cmentarza na Zandce, obok cmentarza ewangelickiego i żydowskiego.
