OL i 1906 i Athen viste sig at være ekstraordinær, da dens arrangører ikke overholdt kravet om en traditionel fire-årig pause mellem spil. Af denne grund blev OL ikke engang officielt anerkendt af Den Internationale Olympiske Komité.
Spilene i 1906 blev afholdt til ære for tiårsdagen for det første OL, som også fandt sted i Athen. For yderligere at understrege forbindelsen mellem de to begivenheder valgte arrangørerne af OL den samme konkurrenceordning som i 1896. For det meste blev der afholdt konkurrencer på Marble Stadium.
Først, da et forslag kom fra Grækenland om at være vært for OL i 1906, gav IOC ikke et kategorisk afslag. Faktum er, at på det tidspunkt var prestige for de olympiske lege faldet, og offentligheden viste ikke længere deres tidligere interesse for dem. For at forhindre den olympiske bevægelses endelige sammenbrud var det nødvendigt at træffe foranstaltninger, og der var ingen måde at vente til 1908. Og selvom IOC efterfølgende nægter at anerkende OL i 1906, vil det blive kaldt frelse af legene, som gjorde det muligt at vende tilbage til offentlighedens og især atleternes interesse for begivenheden, for at støtte bevægelsen og dens idé.
Det var også vanskeligt, at OL ifølge tradition skulle afholdes i forskellige lande i verden, men i 1906 var begivenheden planlagt at blive afholdt i Grækenland, hvilket skabte utilfredshed med IOC-medlemmerne. En eller anden måde, men den 22. april blev den store åbning af spilene afholdt. Da medierne var meget opmærksomme på OL i 1906, ankom mange atleter og gæster til Athen.
Begivenheden deltog i ca. 900 atleter fra 20 lande, heraf syv kvinder. Inden for rammerne af OL i 1906 blev der afholdt konkurrencer i følgende sportsgrene: vægtløftning, græsk-romersk wrestling, hegn, roing, sejlsport, svømning, dykning, atletik, bænk og kugleskydning, cykling og tennis. Desværre, da IOC ikke anerkendte OL i 1906, var alle priser, som dens deltagere modtog, ugyldige og blev ikke taget i betragtning i fremtiden.
Den afsluttende ceremoni for OL blev afholdt den 2. maj. Efter begivenheden blev dens resultater drøftet i lang tid i forskellige lande, hvilket markant øgede den offentlige interesse for spil. Dette blev især bemærket under OL i 1908 i London, hvor over 2.000 atleter deltog.