约翰内斯堡的故事大多与财富和冲突相关。在它所处的土地上，人类已经存在数百万年，而在这之后，它被萨恩、索托-札那和其他非洲部落所占据。但是，欧洲强权接二连三的殖民浪潮永久改变了南非的面貌，最先是荷兰人，然后英国人也在该地区构建了自己的势力。后者逐渐取代前者后，荷兰定居者向北迁移到南非内陆，在遥远的内陆地区定居下来。19世纪80年代，一位定居者发现了威特沃特斯兰德金矿，此地便是日后的约翰内斯堡。

此后，随着大批采矿者涌入该地区淘金，土地大亨尝试控制土地，来自南非各地的劳工也在矿区寻找工作，这座城市迅速发展起来。这片荒野之地上充满了来自各地的矿工、歹徒和各色人群，甚至还发展起了由祖鲁人主导的洗衣产业。虽然荷兰的南非白人和英国殖民者给这个不断发展的城市赋予了名字（“约翰内斯”是当时最流行的荷兰名字），但它绝大多数人口依然是非洲人。

该地区当时由德兰士瓦共和国（布尔人在南非建立的共和国）控制。这个国家在第一次布尔战争中抵抗英国的扩张，并作为一个独立的共和国而短暂存在。但在第二次布尔战争中，共和国节节败退，约翰内斯堡的人口也减少（此时华人社区开始出现）。

对采矿的聚焦定义了约翰内斯堡的面貌。非洲黑人矿工聚居地索韦托的规模达到甚至超过了中心城市本身。在1948年全面实施的种族隔离制度下，工人们发现不仅自己的行动受到限制，权利也被大大剥夺。紧张态势最终导致1976年爆发了索韦托起义，黑人学生展开游行，反对种族隔离；而警察则向学生开枪。结果，索韦托和非洲人国民大会在反对种族隔离的斗争中取得了领导地位，后者于1994年上台，标志着种族隔离制度的结束。

今日，约翰内斯堡是南非最大的城市。它仍然是一个工业重镇，但矿业的重要性已大大下降，矿工和警察之间依旧冲突不断。