Pehm József néven látta meg a napvilágot, nevét 1941-ben magyarosította szülőfaluja nyomán. 1915. június 12-én szentelték pappá, ezután a Vas vármegyei Felsőpatyon volt káplán, majd a zalaegerszegi gimnázium hittantanára lett. Az 1918-19-es forradalmak idején ellenzéki magatartása miatt szülőfalujába internálták. 1919-től Zalaegerszeg plébánosa volt, 1924-ben címzetes pornói apát lett, 1937-ben XI. Pius pápai prelátussá nevezte ki.
Az egész életében a totalitárius zsarnokságok ellen küzdő Mindszenty a harmincas években szembeszállt Gömbös Gyula diktatórikus törekvéseivel és a nyilaskeresztes mozgalommal. XII. Pius pápa 1944-ben veszprémi püspöknek nevezte ki, az év nyarán püspöktársaival együtt körlevélben tiltakozott a zsidóüldözés ellen. 1944. november 27-én a nyilasok letartóztatták, Veszprémben, majd a sopronkőhidai fegyházban raboskodott, december végétől Sopronban tartották házi őrizetben, ahonnan csak 1945. április 1-jén szabadult.
A pápa 1945 augusztusában Mindszentyt nevezte ki esztergomi érsekké, hercegprímássá, majd 1946 februárjában bíborossá. Személyében elveihez ragaszkodó, minden megalkuvást elutasító vezető került a magyar katolikus egyház élére. A hercegprímási címet közjogilag értelmezte, aktívan politizált, kereszténydemokráciát, keresztény erkölcsi törvényeken alapuló társadalmat hirdetett. Szót emelt a felvidéki magyarság deportálása és a magyarországi németek kitelepítése ellen, ellenezte a katolikus sajtó korlátozását, a hitoktatás fokozatos betiltását, a katolikus intézmények államosítását, de a földosztást, a nemzeti bizottságok működését, a köztársasági államforma bevezetését is.
Az egyeduralomra törekvő kommunista vezetéssel egyre gyakrabban szembekerülő főpap az antikommunista politika jelképes alakja lett. Rákosiék gondosan készültek a leszámolásra “a klerikális reakcióval”, a szovjet tanácsadókkal zsúfolt politikai rendőrségen külön csoport foglalkozott “a Mindszenty személye és a köréje gyűlt reakciós kör” elleni harccal. A rettegett Államvédelmi Hatóság (ÁVH) durva sajtókampány után 1948. december 26-án tartóztatta le Mindszentyt hűtlenség (hazaárulás), a demokratikus államrend és a köztársaság megdöntésére irányuló szervezkedés, kémkedés és valutaüzérkedés vádjával.
Az ÁVH hírhedt székházában, az Andrássy út 60-ban heteken keresztül kínozták, hogy beismerő vallomást csikarjanak ki belőle. Ügyét a budapesti Népbíróságnak a pártok delegáltjaiból álló különtanácsa elé utalták, a három napig tartó “nyilvános” tárgyaláson csak előre megválogatott közönség vehetett részt. A koncepciós per végén, 1949. február 8-án Mindszentyt életfogytiglani börtönre ítélték, amit – a nemzetközi tiltakozás ellenére – másodfokon is megerősítettek. A megromlott egészségű főpap négy év magáncella után rabkórházba került, 1955 nyarától házi őrizetben volt a Baranya megyei Püspökszentlászlón, majd a nógrádi Felsőpetényben.
Az 1956-os forradalom kitörése után, október 30-án egy páncélosalakulat szabadította ki, másnap Budára vitték, ahol a romos Prímási palotában rendezkedett be. A Nagy Imre-kormány által rehabilitált főpap november 3-i rádiószózatában az eseményeket nem forradalomnak, hanem szabadságharcnak minősítette, amely “azért folyt, mert a nemzet szabadon akart dönteni arról, hogy miképpen éljen. Szabadon akart határozni sorsa, államának igazgatása, munkájának értékesítése felől”. A beszédben óvott a pártviszálytól és a széthúzástól.
A másnapi szovjet intervenció elől az Egyesült Államok budapesti nagykövetségére menekült. A követségi tartózkodást a prímás csak átmeneti szükségmegoldásnak gondolta, de “félfogsága” végül tizenöt évig tartott. A hatvanas évek végére a megváltozott világpolitika, a hidegháború enyhülése és a Vatikán ezzel együtt változó keleti politikája minden érintett fél számára egyre sürgetőbbé tette a “Mindszenty-ügy” megoldását. A Szentszék, az Egyesült Államok és a magyar kormány megegyezése nyomán a főpap 1971. szeptember 28-án hagyta el Magyarországot. A Boldog VI. Pál pápánál tett rövid látogatás után Bécsbe, az esztergomi érsek egyházi joghatósága alá tartozó Pázmáneumba költözött, s nyolcvan évvel a vállán is végezte lelkipásztori munkáját, látogatta a világban szétszóródott magyar közösségeket.
A pápa a magyar kormány sürgetésére, egyházpolitikai megfontolásból többször szólította fel Mindszentyt lemondásra, s 1973. december 18-án üresnek nyilvánította az esztergomi érseki széket. Az 1974 februárjában nyilvánosságra hozott döntést Mindszenty tudomásul vette. A főpap 1975. május 6-án hunyt el Bécsben, végakaratához hűen ideiglenesen Mariazellben temették el, sírjánál az évek során magyarok tömege rótta le tiszteletét. Hazahozott hamvait 1991. május 4-én helyezték ünnepélyesen végső nyugalomra az esztergomi bazilika prímási sírkápolnájában. A sír felirata: “Fidelissimus in tribulatione pastor” (az üldöztetés idején a leghűségesebb pásztor).
Végső nyughelyét 1991 augusztusában, magyarországi látogatása során felkereste Szent II. János Pál pápa. Mindszenty Emlékiratai külföldön 1974-ben, Magyarországon 1989-ben, majd 2015-ben jelentek meg. A rendszerváltozás után koncepciós per áldozatának nyilvánították és rehabilitálták, a Fővárosi Bíróság 1990. május 18-án kimondta, hogy az ellene hozott népbírósági ítéleteket semmisnek kell tekinteni. A hercegprímás teljes jogi, erkölcsi és politikai rehabilitálására Erdő Péter bíboros kérésére 2012 márciusában került sor. Szentté avatási eljárása 1994-ben kezdődött, nevét utcák, terek, intézmények viselik, az országban több szobra áll, többek között a róla elnevezett budapesti téren, a XII. kerületben.