Джим Кэвизел родился в штате Вашингтон, в городе Маунт-Вернон, в религиозной семье. Кроме него, в семье были еще дети: три сестры и брат. В детстве Джим увлеченно занимался спортом – его отец увлек спортивными занятиями всех детей, и брат и сестра Джима достигли успехов на спортивном поприще, брат Тим был признан лучшим баскетболистом года штата Вашингтон. Джим тоже занимался баскетболом, но в двадцатилетнем возрасте получил травму ноги и мысли о профессиональной спортивной карьере пришлось оставить.

В школьные годы будущий актер сменил несколько школ, и судя по всему был популярен у девочек – в школе Кеннеди Хай-Скул его удостоили звания обладателя самых красивых глаз. По окончании средней школы он поступил в Коммьюнити Колледж в Белвью, проучившись в нем некоторое время, Джим перевелся в Вашингтон, где и закончил двухгодичное образование. Во время учебы в колледже, Джим впервые попал на сцену, получив роль в спектакле по пьесе Нила Саймона «Приди и протруби в свой рог».

В 1991 году Джим Кэвизел приехал в Лос-Анджелес, где начал актерскую карьеру классическим способом - работая официантом.
Его первые работы в кино были малозаметны – это были эпизодические кратковременные появления в фильмах, но в 1993 году судьба ему улыбнулась – Джим получил роль в фильме «Уайэт Эрп», где его коллегами стали Кевин Костнер и Дэннис Куэйд. В это же время актер познакомился со свой будущей женой – учительницей литературы Керри. Вплоть до 1996 года Кэвизел снимался много, но в эпизодических ролях. За это время он оброс связями, так нужными в мире шоу-бизнеса, кроме Костнера у молодого актера сложились прекрасные отношения с Шоном Пенном.

В 1997 году Кэвизеол получил первую значительную роль в фильме «Солдат Джейн», где он сыграл товарища главной героини. Кэвизела заметили, и в следующем году ему была отдана главная роль в фильме Теренса Мэлика «Тонкая красная линия», а в 1999 Джим снимается в «Погоне с дьяволом». Следующие два года – Джим Кэвизел находится на вершинах успеха: роли сыпятся одна за другой, в серьезных фильмах и с известными партнерами по съемкам. За эти 24 месяца актер успел сняться в пяти фильмах, среди которых «Мэдисон», «Заплати другому» и «Глаза ангела» с Дженнифер Лопес. Снимаясь с сексапильной Лопес в постельной сцене, актер настоял, чтобы его партнерша была в белье, так как работа в кадре с обнаженной Джен Лопес может не понравится его супруге. Стоит сказать, что Джим всегда придерживается религиозных взглядов, и ни за какой гонорар их не нарушает.

В 2002 Кэвизел сыграл Эдмона Дантеса в голливудской экранизации «Графа Монте-Кристо», затем было еще несколько фильмов, но настоящую славу Кэвизелу принес фильм Мела Гибсона «Страсти Христовы». За время съемок в этой роли в актера дважды ударяла молния, он испытал переохлаждение и сильнейшее раздражение кожи от грима, а противники этого фильма вынудили его долгое время появляться на людях лишь в присутствии личной охраны.