Als erloschene Vulkanspitze ragte der Ölberg vor 30 Millionen Jahren als Insel aus dem Meer des Mainzer Beckens. Das erloschene Magma bildete Ryolith (ehemals Porphyr genannt). Den Wöllsteinern diente der 175m hohe Berg schon immer als Steinquelle.
Zu Beginn wurden die Steine durch das oberflächliche Freihacken zum Hausbau genutzt. Dazu wurde den Familien ein eigener kleiner Bereich zugeteilt. (Ähnlich den Claims in den USA). Solche Spuren lassen sich im Westen Wöllsteins und auf dem Horn von Siefersheim noch besonders gut erkennen.
Nach dem Bau der Eisenbahnstrecke Wöllstein-Fürfeld wurden ab 1895 die Steinbrüche im Hinterland (um Neu-Bamberg) an das Schienennetz angeschlossen. Erst ab 1917 wurde auch der Wöllsteiner Steinbruch eröffnet und ein Großteil der Steine per Bahn transportiert.
Die Gütermengen aus dem Steinbruch wurden in den nächsten 10 Jahren stetig erhöht. Der Höhepunkt lag im Jahr 1928. Danach kam es jährlich zu weniger Güterfahrten durch geringeren Abbau. Dieser Niedergang endete im Jahr 1936.
Mit dem Bau des Westwalls stieg die Abtragung wieder zu neuen Höhen an. Nach dem Abschluss des Westwalls 1940 wurde aber weiterhin Wöllsteiner Fels in großer Zahl gewonnen und verfrachtet.
Mit dem Ende des 2. Weltkriegs kehrte sich dieser Trend erneut um, allerdings nicht so einschneidend wie nach 1928. Lediglich die Güterfahrten mit der Bahn nahmen ab 1948 stark ab, da nun vermehrt LKW eingesetzt wurden. Auch dieser Trend sorgte, neben dem Rückgang des Personenverkehrs 1959, zur Stilllegung der Eisenbahnlinie Wöllstein-Fürfeld.
In den 1960er Jahren wurden die Steine aus dem Wöllsteiner Bruch nur noch per LKW zu den Kunden geleifert. Der Abbau ging ständig zurück und zu Beginn der 1970er Jahre wurde der industrielle Abbau dann komplett eingestellt.
Jetzt dienten die Steine wieder der Wöllsteiner Bevölkerung, die sich loses Gestein aus dem Abraum klaubten, um Hausfassaden und Mauern zu verschönern.
Gelegentlich fanden zu diesem Zweck sogar noch Sprengungen statt.
Nach dem Ende des Abbaus büßte der Ölberg seine Spitze ein und misst heute nur noch 174m.
Im Jahr 1983 wurde der Steinbruch zum Naturschutzgebiet. Die weitere Ausbeutung kam zum Erliegen. Die Zugänge wurden aufgeschüttet, um die Bürger Wöllsteins am großflächigen Sammeln zu hindern.
Seitdem entstand in diesem Biotop eine Pflanzenwelt, die in ihrer Diversität bemerkenswert ist.
