Urodzony w rodzinie Jamesa i Ann. Po śmierci ojca w 1787 udał się wraz ze schorowaną matką do Włoch w nadziei, że ciepły klimat będzie lepszy dla jej zdrowia. Podczas powrotu do Anglii został zatrzymany w Lyonie. Tam rozpoczął studia teologiczne pod kierunkiem o. Ambrose Maréchala. Święcenia kapłańskie otrzymał 24 lipca1809 z rąk ordynariusza GrenobleClaude Simona. Niedługo później zmarła jego matka i ks. Whitfield powrócił do rodzinnej Anglii, gdzie został proboszczem w Little Crosby. Na zaproszenie swego dawnego wykładowcy, który był wówczas arcybiskupem Baltimore, wyjechał na kontynent amerykański i we wrześniu 1817 dotarł do Marylandu. Pracował jako wikariusz, a następnie rektor miejscowej katedry metropolitalnej. Od 1818wikariusz generalny archidiecezji baltimorskiej.
8 stycznia1828 otrzymał nominację na koadiutora abpa Marechala ze stolicą tytularnąApollonia. Jego zwierzchnik zmarł jednak trzy tygodnie później, sakrę biskupią otrzymał więc już jako arcybiskup metropolita Baltimore. Sakry udzielił mu bp Benedict Joseph FlagetPSS z Bardstown. W latach 1828-1834 był jednocześnie administratorem apostolskimdiecezji Richmond. 4 października1829 otrzymał paliusz, był to jednocześnie dzień otwarcia pierwszego Baltimorskiego Synodu Prowincjonalnego. Owocem prac synodalnych były dekrety, które stały się podstawą dla późniejszych praw dla Kościoła amerykańskiego. W owym czasie do archidiecezji baltimorskiej należało 87 tys. wiernych i 52 kapłanów. W 1831 zwołał synod dla miejscowego duchowieństwa a w 1833 odbył się drugi Synod Prowincjonalny. Whitfield znany był ze swego zaangażowania na rzecz Afroamerykanów, których uważał za dobry materiał na katolików, jednak liczba misjonarzy była zbyt mała by wysłać ich do pracy wśród czarnych społeczności. Ze względu na stan zdrowia od 4 marca1834 posiadał koadiutora, którym został niespełna 33-letni o. Samuel EcclestonPSS. Na miesiąc przed śmiercią osobiście udzielił mu sakry biskupiej.