La troisième version des Jeux Olympiques modernes était initialement prévue pour Chicago. Cependant, en 1902, il fut décidé de déplacer les Jeux à St Louis pour coïncider avec l'Exposition Universelle. Cela signifiait que le CIO et les organisateurs de 1904 commettaient les mêmes erreurs qui avaient été commises quatre ans plus tôt à Paris en essayant d'intégrer un festival olympique à un autre événement majeur.
Les épreuves olympiques, étalées sur quatre mois et demi, se sont perdues dans le joyeux chaos de l'Exposition universelle. Sur les 91 épreuves, 49 ont vu uniquement des athlètes américains concourir. Cela a conduit les États-Unis à remporter 77 médailles d'or, l’Allemagne et Cuba se situant en seconde et troisième position. Les dépenses et la logistique pour se rendre sur place ont fait diminuer de moitié le nombre de pays participants, par rapport aux Jeux de Paris de 1900. Ainsi, la Grande-Bretagne et la France n’ont pas été représentées et même le baron Pierre de Coubertin, alors président du CIO, préféra ne pas s’y rendre. Il a déclaré par la suite que plus jamais les Jeux Olympiques ne rivaliseraient avec une autre exposition internationale.
Les Jeux olympiques de 1904 ont eu quelques faits saillants. Ce sont les premiers Jeux où des médailles d'or, d'argent et de bronze ont été décernées pour la première, la deuxième et la troisième place. Les membres de la tribu Tswana, qui étaient à St Louis dans le cadre de l'exposition sur la guerre des Boers à l'Exposition universelle, sont devenus les premiers Africains à participer aux Jeux olympiques.
Sans surprise, les athlètes américains étaient les stars. Le gymnaste Anton Heida a été le meilleur athlète aux Jeux, remportant cinq médailles d'or et une d'argent. Charles 'Archie' Hahn, connu sous le nom de 'Milwaukee Meteor', a remporté le 60m, le 100m et le 200m (il fallut 28 ans avant qu’un autre athlète ne remporte ces trois titres). Le cavalier Ray Ewry a défendu avec succès ses trois titres de 1900 au saut en longueur debout, en triple saut debout et en saut en hauteur.
Le programme sportif a continué à prendre forme. La boxe et l'aviron ont fait leurs débuts olympiques. La lutte a été restaurée, mais. L'haltérophilie et un programme complet de gymnastique ont fait également leur retour dans le programme olympique.
Néanmoins, les Jeux de St Louis ont failli causer la perte du Mouvement olympique : aucune femme n’y a participé et des épreuves avilissantes ont eu lieu. Le statut des Jeux Olympiques en aurait pris un coup si, deux ans plus tard, Athènes n’avait pas organisé les Jeux non officiels de 1906 qui célébraient les 10 ans des premiers Jeux Olympiques modernes.
