Den här artikeln behöver fler eller bättre källhänvisningar för att kunna verifieras. (2023-07) Åtgärda genom att lägga till pålitliga källor (gärna som fotnoter). Uppgifter utan källhänvisning kan ifrågasättas och tas bort utan att det behöver diskuteras på diskussionssidan.
Caan växte upp i en judisk familj och hans far var kosherköttförsäljare. Under skoltiden utmärkte Caan sig i basket och när han studerade vid college hade han en mängd extrajobb, bland annat som kypare och livvakt. Han inledde sin scenkarriär vid Neighborhood Playhouse i New York och gjorde debut off-Broadway 1960 i La Ronde. År 1963 gjorde han filmdebut i en liten roll i Irma la Douce.
Caan blev ett ganska stort namn under början av 1970-talet efter ett ha medverkat i TV-filmen Brian's Song men framförallt efter sin gestaltning av den hetlevrade Sonny Corleone i Gudfadern 1972. Caan Oscarnominerades för rollen i kategorin bästa manliga biroll, där han tävlade mot två av sina medspelare i filmen, Al Pacino och Robert Duvall, men ingen av dem vann priset.
På grund av ett ganska vilt liv under 1970- och 80-talen, gick karriären i stå och han fick efter hand mest uppträda i mer ordinära biroller, till exempel i filmer som Eraser, The Yards, The Way of the Gun och Dogville.