John Carroll nació en la localidad de Upper Marlboro, en Maryland, el 8 de enero de 1736.
En 1747 fue enviado a una escuela jesuita. En 1748 fue enviado con su primo a otra escuela, también jesuita.
El 8 de septiembre de 1753 hizo sus primeros votos como jesuita.
El 14 de febrero de 1761, a los 26 años, fue ordenado sacerdote y luego comenzó a enseñar filosofía en el Colegio Inglés.
Hizo sus votos perpetuos el 2 de febrero de 1771.
En 1776, el Congreso Continental le pidió que fuera en una misión a Canadá con Benjamín Franklin, Samuel Chase y su primo Charles Carroll.
Aunque cuestionó la conveniencia de que un sacerdote católico se involucrara en asuntos políticos, sintió que era su deber patriótico ir.
El sitio web de la actual Arquidiócesis de Baltimore señala que el P. Carroll escribió en 1785 un tratado de 115 páginas en respuesta a un texto de un primo suyo que justificaba su conversión a la iglesia episcopaliana, la rama anglicana en Estados Unidos.
El texto del sacerdote se titula “Un discurso a los católicos romanos de los Estados Unidos de América”.
En su libro escribe que “Estados Unidos puede llegar a mostrar una prueba al mundo, por medio de una tolerancia general e igualitaria, para permitir que circulen argumentos justos, lo que es el método más eficaz para llevar a todas las denominaciones de cristianos a una unidad de la fe”.
Algún tiempo después escribió al Prefecto de la Congregación de Propaganda Fide en el Vaticano, que tenía a su cargo los territorios de misión, diciendo que no sería conveniente tener un vicario apostólico en Estados Unidos, y que sería mejor tener una diócesis local a cargo de un obispo.
El 6 de noviembre de 1789, el Papa Pío VI creó la Diócesis de Baltimore y lo nombró su primer obispo.
El 15 de agosto de 1790 recibió la consagración episcopal. Tiempo después fue nombrado Arzobispo de Baltimore, cuando esa jurisdicción fue elevada a Arquidiócesis.
Mons. John Carroll falleció el 3 de diciembre de 1815, casi a los 81 años, siendo aún Arzobispo de Baltimore.