Il baigne dans le cinéma depuis sa plus tendre enfance puisque son père, Stephen Gyllenhaal, est un réalisateur et sa mère, Naomi Foner Gyllenhaal, est scénariste (nommée aux Oscars en 1989). Sa s½ur, Maggie, est également une actrice reconnue qui joue à ses côtés dans Donnie Darko et dans A Dangerous Woman. Sa marraine n'est autre que Jamie Lee Curtis.
Jake descend donc du côté paternel de la famille Gyllenhall, appartenant à la noblesse suédoise, et du côté maternel, de la famille Achs, des juifs-américains de New York. Jake a été élevé dans la religion juive et a passé sa Bar Mitzvah dans un refuge pour SDF selon le souhait de ses parents, afin qu'il prenne conscience de son mode de vie privilégié.
Jake a passé son diplôme de fin d'études secondaires au lycée de Harvard-Westlake en 1998 et a étudié pendant deux ans à l'Université de Columbia, avant de quitter les études pour mieux se consacrer à sa carrière d'acteur.
Il a fait ses débuts à l'écran à l'âge de 11 ans, où il jouait le fils de Billy Crystal dans City Slickers. Mais c'est en obtenant le rôle-titre de Donnie Darko, dans le film désormais devenu culte, qu'il a véritablement été révélé. Cette interprétation -d'un adolescent schizophrène pris d'hallucinations- a été encensée par les critiques, et lui a même rapporté une nomination aux Independent Spirit Awards.
Rapidement, il s'est établi comme une des étoiles montantes d'Hollywood, en enchaînant des rôles atypiques dans des longs-métrages tels que Lovely and Amazing, Bubble Boy, et The Good Girl, où il partageait l'affiche avec Jennifer Aniston. Toujours en 2002, il a fait ses débuts au théâtre, dans la pièce londonnienne de Kenneth Lonergan, This Is Our Youth, qui a également enthousiasmé les critiques.
En 2004, il était à l'affiche du Jour d'Après (the Day After Tomorrow), aux côtés de Dennis Quaid, qui devint un énorme succès commercial. C'est, à ce jour, sa seule apparition dans une superproduction hollywoodienne. L'année 2005 s'est avérée être chargée pour le jeune acteur, où il a tourné 3 films : Preuve Irréfutable, avec Anthony Hopkins et Gwyneth Paltrow ; Jarhead – La fin de l'innocence, réalisé par Sam Mendes, et enfin Le Secret de Brokeback Mountain, réalisé par Ang Lee. Ce dernier a connu un succès critique et public retentissant, faisant de Jake un des acteurs les plus prometteurs de sa génération. Sa performance lui a permis de remporter le BAFTA du meilleur second rôle ainsi qu'une nomination aux Oscars dans cette même catégorie. Son prochain film sera Zodiac, réalisé par David Fincher où il incarnera Robert Graysmith, auteur du best seller Zodiac.
Sa vie privée a été intensément médiatisée, en raison de sa relation amoureuse de deux ans avec l'actrice Kirsten Dunst. C'est grâce à sa s½ur Maggie qu'il a rencontré la jeune actrice, ils ont entamé une relation en septembre 2002 avant de rompre en juillet 2004. Il devait d'ailleurs remplacer Tobey Maguire dans le rôle de Peter Parker pour Spider-Man 2, mais celui-ci est finalement revenu sur sa décision. Jake faisait aussi partie des huit derniers candidats sélectionnés pour interpréter Bruce Wayne dans Batman Begins, mais le rôle a, au final, été confié à Christian Bale.
Jake a sympathisé récemment avec l'acteur Austin Nichols et avec de nombreuses actrices. Il déclare cependant dans une interview à Oprah Winfrey qu'il est toujours célibataire. Il compte parmi ses amis proches les actrices Natalie Portman, Bryce Dallas Howard, Adam Levine, leader des Maroon 5 (qu'il a connu dès l'école maternelle) et Peter Saarsgard, le petit ami de sa s½ur et son partenaire dans Jarhead.
Il est le parrain de Mathilda, la petite fille de ses co-stars du Secret de Brokeback Mountain, Heath Ledger et Michelle Williams.
Les fans de Jake sont surnommés les « Gyllenhaalics ». Lors d'une interview donnée sur l'émission de télévision américaine The Morning Show, Jake a publiquement avoué diverses choses à propos de son récent film Le secret de Brokeback Mountain avec Heath Ledger. Ce qui l'inquiétait le plus, explique-t-il, était le fait qu'il devait tourner une scène nu avec son partenaire, où ses parties génitales seraient dévoilées à l'écran. Il conclut cette remarque avec un rire avant d'ajouter : "Ce n'était pas aussi horrible que ça en avait l'air. C'était même un peu amusant !"
