F. Murray Abraham Pittsburgh-ben született 1939. október 24-én. Akrikai származású édesapja, Fahrid Abraham autószerelő, míg édesanyja, az olasz-amerikai Josephine háztartásbeli volt. Két testvére van: Robert és Jack, mindketten autóbalesetben haltak meg. El Paso-ban nőtt fel.

A Vilas High Schoolban kezdte meg tanulmányait, majd az El Paso-i Középiskolában érettségizett 1958-ban. Ezt követően a University of Texas at El Paso hallgatója lett, ahol tagja volt az Alpha Psi Omega testvériségnek. Itt a legjobb színész díjával jutalmazták egyik színdarabban nyújtott alakítása kapcsán. Színészetet a University of Texas at Austin berkein belül tanult.

Filmes karrierjét 1971-ben kezdte a They Might Be Giants filmdrámával. A következő években kisebb szerepekben játszott, majd 1983-ban Omar Suarezként láthattuk A sebhelyesarcúban. Egy év múlva elnyerte Antonio Salieri karakterének kidolgozási jogát az Amadeusban. A szerep olyan hitelesre sikerült, hogy az Akadémia Oscar-díjjal jutalmazta a színészt.

További karrierjét gazdagítja A megtörhetetlen, a Négykezes géppisztolyra, a Döntsön a kard, a Haláli fegyver, a Dilinger és Capone, a Mimic, a 13 kísértet, a Perestroika és a Llewyn Davis világa kapcsán nyújtott munkája. Legutóbb Dar Adal bőrébe bújt a Homeland: A belső ellenség 42 epizódjában.

1962-ben feleségül vette Kate Hannant, akitől két gyermeke született: Mick és Jamili.