Under diskussionen om de olympiske lege III, besluttede Den Internationale Olympiske Komité at organisere det i USA, da dette land viste gode resultater i de to foregående kampe. Oprindeligt ønskede de at afholde OL i Chicago eller New York, men som et resultat faldt valget på den lille havneby St. Louis.
III-OL i St. Louis sammen med Paris blev afholdt som en del af verdensudstillingen. Den lokale ledelse af udstillingen betragtede den imidlertid ikke som en konkurrent, men tværtimod gjorde sit bedste for at bruge spilene til deres egne reklameformål. Derudover gentog arrangørerne nogle af fejlene ved Sommer-OL 1900 i Paris. På grund af tilknytning til verdensudstillingen blev konkurrencer henvist til baggrunden, og selve OL strakte sig ud i næsten 5 måneder (1. juli - 23. november 1904). Mange konkurrencer blev afholdt under vejledning af forskellige professionelle organisationer, men på trods af dette fik de alle titlen på olympiske discipliner.
Ifølge IOC deltog 12 lande i sommerlekene i St. Louis. Den eneste stat, der deltog i konkurrencen for første gang var Sydafrika. Sammenlignet med OL i Paris er antallet af deltagende lande faldet kraftigt. De 13 stater, der deltog i Paris Summer Games, var ikke i stand til at komme til St. Louis af økonomiske grunde. Rusland, der kæmpede med Japan på det tidspunkt, deltog ikke i konkurrencerne.
I alt optrådte 651 mennesker, inklusive 6 kvinder, ved III-sommer-OL. De konkurrerede om 94 sæt priser i 18 sportsgrene. Det største hold var Amerikas Forenede Stater, de repræsenterede 533 personer til kampene. I mange sportsgrene (boksning, wrestling, vandpolo, bueskydning og tennis) var det kun amerikanske atleter, der spillede, så kampene tydeligt demonstrerede landets forrang.
I St. Louis begyndte første gang at belønne tre, ikke to atleter, der viste det bedste resultat. Den største vinder af konkurrencen blev tildelt en guldmedalje; andenplads atlet - sølv; og tredjepladsen blev markeret med en bronzepris. Denne tradition har overlevet til nutiden.
I den uofficielle holdstandering er de deltagende lande placeret som følger: Jeg placerer - USA (78 guld, 82 sølv, 78 bronzemedaljer), II plads - Tyskland (4 guld, 4 sølv, 5 bronzemedaljer), III plads - Cuba (4 guld, 2 sølv, 3 bronzemedaljer).
