Podczas dyskusji na temat III Igrzysk Olimpijskich Międzynarodowy Komitet Olimpijski postanowił zorganizować je w Stanach Zjednoczonych, ponieważ kraj ten pokazał dobre wyniki w poprzednich dwóch meczach. Początkowo chcieli zorganizować Olimpiadę w Chicago lub Nowym Jorku, ale w rezultacie wybór padł na małe miasteczko portowe St. Louis.
III Igrzyska Olimpijskie w St. Louis wraz z Paryżem odbyły się w ramach Wystawy Światowej. Jednak lokalne kierownictwo Wystawy nie uznało jej za konkurenta, ale wręcz przeciwnie, postarało się wykorzystać gry do własnych celów reklamowych. Ponadto organizatorzy powtórzyli niektóre błędy podczas Letnich Igrzysk Olimpijskich 1900 w Paryżu. Z powodu przywiązania do Wystawy Światowej konkursy zostały przeniesione na drugi plan, a sama Olimpiada przeciągała się przez prawie 5 miesięcy (1 lipca - 23 listopada 1904 r.). Wiele zawodów odbyło się pod okiem różnych organizacji zawodowych, jednak mimo to wszystkie otrzymały tytuł dyscyplin olimpijskich.
Według MKOl 12 krajów wzięło udział w letnich grach w St. Louis. Jedynym państwem, które wzięło udział w zawodach po raz pierwszy, była Republika Południowej Afryki. W porównaniu z olimpiadą paryską liczba krajów uczestniczących gwałtownie spadła. 13 państw uczestniczących w letnich igrzyskach w Paryżu nie było w stanie przyjechać do St. Louis z powodów ekonomicznych. Rosja, która wówczas walczyła z Japonią, nie brała udziału w zawodach.
W sumie 651 osób, w tym 6 kobiet, wystąpiło na III Letnich Igrzyskach Olimpijskich. Walczyli o 94 zestawy nagród w 18 dyscyplinach sportowych. Największą drużyną były Stany Zjednoczone Ameryki; reprezentowały one 533 osoby podczas igrzysk. W wielu dyscyplinach sportowych (boks, zapasy, piłka wodna, łucznictwo i tenis) byli wyłącznie amerykańscy sportowcy, więc gry wyraźnie pokazały prymat kraju.
W St. Louis po raz pierwszy zaczął nagradzać trzech, a nie dwóch sportowców, którzy wykazali najlepszy wynik. Główny zwycięzca konkursu otrzymał złoty medal; zawodnik z drugiego miejsca - srebrny; a trzecie miejsce zostało wyróżnione brązową nagrodą. Ta tradycja przetrwała do dziś.
W nieoficjalnej klasyfikacji drużynowej kraje uczestniczące to: I miejsce - USA (78 złotych, 82 srebrne, 78 brązowych medali), II miejsce - Niemcy (4 złote, 4 srebrne, 5 brązowych medali), III miejsce - Kuba (4 złote, 2 srebrne, 3 brązowe medale).
