1904. godine, olimpijada je prvobitno trebala biti održana u Chicagu. Istovremeno je svjetska izložba u St. Louisu, koja je prvobitno bila planirana za 1903, naišla na probleme. Tada su predstavnici St.Louisa rekli da će oni imati svoj vlastiti sportski festival, i Chicago je postao veoma zabrinut da će izgubiti dosta novca. Stoga je Chicago odustao od olimpijskih igara i ustupio ih St.Louisu 1904, kaže Harvey Abrams, olimpijski istoričar.
Na olimpijadi kojoj su domaćini bili Amerikanci bilo je manje Evropljana koji su sudjelovali u takmičenjima.
Mnogi Evropljani su bili užasnuti načinom na kojeg su Amerikanci održavali olimpijske igre. Ali je također bilo teško putovati--jedini oblik putovanja u to vrijeme je bio parobrodom, i to je bilo veoma skupo. Jedino su aristokrate mogle putovati. Niko ko je bio radnik ili farmer nije mogao priuštiti da putuje, kaže gospodin Abrams.
Jedno od najmračnijih poglavlja olimpijske istorije su bile antropološke igre, kao dio igara u Sant Louisu, na kojima su se netrenirani sportisti kao pigmeji, crnci ili indijanci, morali takmičiti protiv sportista-bijelaca. To je bilo potpunio zanemarivanje olimpijskih ideala i svojevrstan cirkus.
Neki od pratećih događaja koji su tada organizirani bi danas bili nezamislivi, kao što je utrka u vrećama, ili takmičenja militarističke prirode. Čak šta gore, neka od plivačkih takmičenja su se održavala u bari mutne vode. Upravo zbog toga je većina sportista odbila sudjelovati.
