Nakon osnivanja 1908 godine, Savezni istražni ured je postojao kao malo poznata agencija koja je bila produžena ruka ministarstva pravosudja u kojoj su posao dobivali bliski prijatelji onih na vlasti. Tako je bilo sve do 1924 godine, kada je 26-godišnji J. Edgar Hoover došao na čelo ove organizacije.
John Fox, službeni povijesničar FBI-a, kaže da je Hoover očistio agenciju, koja je u tom trenutku, bila ogrezla u političku korupciju: “On se sa takvim elanom bacio na reformiranje ove agencije, i na stvaranje atmosfere u kojoj je primjena zakona u federalnoj državnoj upravi profesionalna, a ne politička funkcija.”
Pod Hooverom, FBI, u čiji je naslov dodano ono federalni, odnosno savezni, 1935. godine, stvorio je reputaciju kakvu nitko drugi nije imao do tada kada su u pitanju forenzička istraživanja, hvatanje bjegunaca poput pljačkaša banke Johna Dillingera, koji je ubijen ispred jednog čikaškog kina 1934 godine. I, možda najvažniji od standarda koje je postavila - ova agencija nije bila podložna korupciji.
Hoover se trudio popraviti ugled FBI-a u javnosti i medijima, da bi se na koncu organizacija smatrala – mitološkom. Čak i danas, agenti koji nikad nisu radili za njega zovu ga Mr. Hoover.
No, bivši agnet FBI-a, Stan Pimentel kaže da je J. Edgar Hoover vodio ovu agenciju kao svoje birokratsko dobro, bez skoro ikakve kontrole ili mješanja izvana: “Naravno, gospodin Hoover je odgovarao odredjenim članovima Kongresa. Trebao je biti odgovoran glavnom državnom tužitelju, no u stvarnosti gospodin Hoover je bio FBI, on ga je vodio, i više manje mogao je raditi što god je htio.”
U takvoj tajnoj i zaštićenoj atmosferi, FBI je vremenom počeo provoditi i neke kontroverzne operacije, uključujući elektronsko prisluškivanje i ometanje aktivističkih grupa 60-ih godina prošlog stoljeća, uključujući i Martina Luthera Kinga.
Negdašnji šef unutrašnjih obavještajnih operacija, a sada 85-godišnji umirovljenik, Ed Miler kaže da je Hoover vodio računa o gradjanskim slobodama, ali da ga je u isto vrijeme zabrinjavalo ono što je on smatrao komunističkim utjecajem na proturatni pokret te skupine za gradjanska prava. Miler dodaje da Hoover nije imao ništa protiv doktora Kinga, ali da ga je uznemiravalo ono što je doznao o izvanbračnim aferama ovog borca za gradjanska prava: “Hoover je bio zabrinut Martinom Lutherom Kingom - ne da mu se on nije svidjao – nego jednostavno nije volio njegov moral, odnosno poruka koje su sadržane u takvom moralu.”
Nakon smrti Hoovera, 1972 godine, FBI je postao otvorenija agencija, koja je Kongresu odgovarala za svoje postupke. Hoover nije doživio nešto što bi ga vjerojatno najviše rastužilo, a to je uhićenje, te kasnije i izricanje presude jednom od svojih agenata, Robertu Hanssenu, koji je bio moskovski špijun.
Današnji agenti FBI-a više su specijalizirani nego oni iz Hooverovog doba. S dolaskom novog stoljeća, agenti shvaćaju da je središnji dio njihove službe sada nacionalna sigurnost, naročito borba protiv terorizma.
Povjesničar FBI-a John Fox kaže da su krivi potezi, koji su bili povučeni u vrijeme J. Edgara Hoovera, dali vrlo jasne smjernice današnjim agentima o opasnoj ravnoteži izmedju zaštite života i sigurnosti s jedne strane, te očuvanja gradjanskih sloboda s druge: “Ostavio je iza sebe nekoliko velikih znakova upozorenja, o onome što ne bi smjeli raditi i gdje bi mogli pogriješiti, o stvarima kojih trebamo biti svjesni i protiv kojih se trebamo boriti, kako bismo očuvali ravnotežu izmedju očuvanja sloboda i osiguravanja sigurnosti. Mislim da je to nasljedje J. Edgara Hoovera, i mislim da je dobro da ga po tome pamtimo.”