Une église de style gothique primaire fut construite à sa place. Celle-ci accueillit la messe d'ouverture de la fondation de l'Université de Heidelberg le 18 octobre 1386. Sous Ruprecht III, le chœur de l'église fut détruit et remplacé par un chœur de plus grande taille.
Le chœur en halle fut terminé en 1410, la construction de la nef et du soubassement du clocher en 1441. Louis III posa les fondements de ce qui allait devenir plus tard la célèbre bibliothèque palatine, la BIBLIOTECA PALATINA, où furent écrits à sa demande les premiers livres sur les galeries de l'Église du Saint-Esprit. Sous le règne de Louis V (1508-1544), la construction du clocher fut poursuivie et terminée. Pendant la Réforme, l'église changea plusieurs fois de confession, elle était tantôt luthérienne, tantôt calviniste.
Le catéchisme de Heidelberg, une confession de foi réformée, naquit ensuite en 1563. Pendant la guerre de Trente Ans et après la conquête de Heidelberg par les troupes catholiques, la ville et l'église furent converties pour de nombreuses années au catholicisme. Le Pape Grégoire XV fit déménager la BIBLIOTECA PALATINA à Rome comme butin de guerre. L'église fut gravement endommagée en 1693, lors de la guerre de succession entre le Palatinat et Orléans. Presque toutes les dalles funéraires des princes-électeurs du Palatinat furent détruites, sauf celle du prince-électeur Ruprecht II. Seuls 1 816 des 5 000 livres et 885 des 3 524 manuscrits furent restitués à la bibliothèque de Heidelberg, le reste demeura au Vatican. Pendant les deux cents années qui suivirent, les catholiques et les protestants revendiquaient les uns comme les autres leurs droits sur l'église.
Dès lors, un mur de séparation fut construit pour séparer la messe catholique, qui avait lieu dans le chœur, de la messe évangélique, célébrée dans la nef. Ce n'est qu'en 1936 qu'un accord fut conclu avec l'Église catholique. Cette dernière confia la souveraineté absolue sur l'Église du Saint-Esprit à l'Église évangélique du Bade. Lors de la Saint-Jean de 1936, la communauté évangélique du Saint-Esprit célébra pour la première fois la messe sans mur de séparation.
