Dzieciństwo i młodość spędził w Łodzi, gdzie kształcił się w liceum muzycznym i grywał pierwsze koncerty z zespołem Tiger Rag. W 1961 r. rozpoczął studia w PWSM w Warszawie w klasie skrzypiec, a samodzielnie opanował grę na saksofonie. Nawiązał wówczas współpracę ze znanymi zespołami jazzowymi Z. Namysłowskiego i A. Trzaskowskiego, z którymi występował m.in. na Jazz Jamboree w USA.
W latach 60. grał w Kwintecie Krzysztofa Komedy. W maju 1973 r. zagrał pożegnalny koncert w Polsce i kilka miesięcy później, razem z żoną Urszulą Dudziak wyjechał do Stanów Zjednoczonych, gdzie podpisał kontrakt płytowy z Columbia Records. Tam rozpoczęła się jego wielka kariera jako współtwórcy nowojorskiego tzw. fusion jazzu, będącego mieszanką wielu stylów z elementami rocka, rapu, hip-hopu. W 1989 r. założył zespół Urbanator, a na amerykańskich scenach – także w Carnegie Hall – oraz w prestiżowych klubach grał z największymi gwiazdami światowego jazzu.
Mieszkał w Szwecji, Niemczech i Szwajcarii, a od 1973 r. w Nowym Jorku. Często powracał do Polski, a także do Łodzi i tak jest do dziś, gdzie regularnie organizuje warsztaty jazzowe. Michał Urbaniak napisał także muzykę do ponad 20 filmów fabularnych i zagrał główną rolę w obrazie „Mój rower” w reż. Piotra Trzaskalskiego.
Jeszcze parę dni temu w wywiadzie dla Chili Zet wspominał o planach współpracy z Tylerem, The Creatorem. Utwór Tylera "What A Day" w całości zbudowany jest na samplu z utworu "A Day in the Park" Urbaniaka z 1978 roku. O śmierci poinformowała żona w mediach społecznościowych.
Był Honorowym Obywatelem Łodzi, pozostawał związany z miastem na każdym etapie artystycznej drogi, tworząc m.in. projekt Urbanator, w którym łączył muzyków doświadczonych z młodymi talentami. W Alei Gwiazd na Piotrkowskiej posiada swoją płaskorzeźbę. W 2024 roku otrzymał medal Zasłużony Kulturze Gloria Artis.