Historia Johannesburga to opowieść o bogactwie i konfliktach. Ziemia, na której leży Johannesburg, od milionów lat była zamieszkiwana przez ludzi, w tym w stosunkowo nieodległej przeszłości: przez afrykańskie ludy takie jak San czy Sotho-Tswana. Kolejne fale europejskich kolonizatorów miały jednak na zawsze zmienić Afrykę Południową – najpierw przybyli tam Holendrzy, a w ślad za nimi Anglicy. Ci ostatni wyparli Holendrów na północ, w głąb afrykańskiego interioru, a w latach 80. XIX wieku na obszarze, na którym miał powstać Johannesburg, jeden z angielskich osadników odkrył złoże złota Witwatersrand.
Odkrycie rozpoczęło szybki rozwój miasta – do regionu zaczęli tłumnie ściągać poszukiwacze złota, baronowie ziemscy walczyli o kontrolę nad terytorium, a robotnicy z całej Afryki Południowej szukali pracy w nowo zakładanych kopalniach. Było to dzikie miejsce z górnikami, gangsterami i innymi przybyszami ściągającymi z całego regionu oraz – co może być zaskakujące – z branżą usług pralniczych zdominowaną przez Zulusów. Chociaż nazwę rozwijającemu się miastu nadali holenderscy Afrykanerzy i angielscy osadnicy (holenderskie imię Johannes cieszyło się wówczas ogromną popularnością), to większość jego mieszkańców stanowili Afrykanie.
Region był w tym czasie kontrolowany przez Zuid-Afrikaansche Republiek – Republikę Południowoafrykańską Burów (Holendrów), która oparła się brytyjskiej ekspansji, zwyciężając w pierwszej wojnie burskiej, i istniała krótko jako niezależne państwo. Republika nie przetrwała jednak ponownego starcia z imperium brytyjskim i przegrała drugą wojnę burską, co doprowadziło do wyludnienia Johannesburga (i osiedlenia się w nim chińskiej społeczności).
Działalność górnicza miało zdefiniować Johannesburg. Soweto – osada czarnoskórych Afrykanów pracujących w kopalniach – rozrosło się tak bardzo, że zaczęło dorównywać wielkością samemu miastu, a nawet je przewyższać. Po tym, jak w 1948 roku ukończono budowę rasistowskiego systemu apartheidu, zamieszkujący osadę robotnicy zostali pozbawieni praw i możliwości swobodnego poruszania się. Powodowane tym napięcia doprowadziły w 1976 roku do wybuchu powstania w Soweto, podczas którego czarni uczniowie zorganizowali marsz przeciwko apartheidowi. Policja otworzyła do protestujących ogień i zabiła wiele dzieci. W rezultacie Soweto i Afrykański Kongres Narodowy stanęły na czele ruchu walczącego z apartheidem, by w 1994 roku przejąć władzę i położyć kres temu rasistowskiemu systemowi w RPA.
Obecnie Johannesburg jest największym miastem Afryki Południowej. Górnictwo straciło na znaczeniu, choć nadal wybuchają konflikty między górnikami i policją, a miasto pozostaje ośrodkiem przemysłowym.