Brakovi su mu se ekspresno raspadali, a optužen je i da je pridonio suicidu bivše kojoj je navodno prenio i 3 spolne bolesti

Jim je 2005. započeo vezu s Jenny McCarthy. Ona je javno hvalila glumca i 2007. je progovorila o njegovoj potpori njenom sinu Evanu koji je rođen 2002. i dijagnosticiran mu je autizam tri godine kasnije. Inače, Jenny nazivaju najpoznatijom nositeljicom antivakserske ideologije te su se oboje složili da cjepivo uzrokuje autizam. Ipak, ni ta ljubav nije dugo potrajala.