Au XV^e siècle, un usage bizarre se répandit parmi les compositeurs: ce fut de prendre pour thème de leurs messes et de leurs motets les airs de chansons mondaines, et de donner pour titre aux ouvrages de musique religieuse les premiers mots de ces chansons. Ainsi, on eut les messes Amour me bat de Josquin Després, A l'ombre d'un buissonnet de Brumel, Dites-moi toutes vos pensées de Jean Mouton, Baisez-moi, ma mie, de Pipelare, etc. La Chanson de l'Homme armé a fourni le thème de plus de 200 messes à des musiciens italiens, français et belges.

Le pape Marcel était décidé, en 1555, pour faire cesser ce scandale, à ne conserver que le plain-chant pur et simple dans l'office divin, et la bulle de suppression de la musique était prête, lorsque Palestrina présenta sa messe à 6 voix, dite Messe du pape Marcel. Elle parut si belle et si noble, que le pontife abandonna son projet. Palestrina opéra une révolution complète dans le style musical : au lieu de faire, avec le style fugué, les espèces de tours de force et de logogriphes qui avaient discrédité ses prédécesseurs, il l'employa avec pureté, sans nuire à la  gravité du genre sacré, et, bien que l'harmonie se soit enrichie de combinaisons nombreuses, bien que l'art du chant et celui de l'accompagnement aient fait de merveilleux progrès, ses ouvrages, bien exécutés par des masses chorales, sont encore susceptibles d'émouvoir aujourd'hui, Jean-Marie Nanini et son neveu Bernard Nanini ne sortirent pas de la voie que Palestrina avait tracée à l'école romaine.

Dans la seconde moitié du XVI^e siècle, diverses causes amenèrent de nouveaux changements dans le style de la musique religieuse. D'abord, l'harmonie dissonante, naturelle et sans préparation, que Claude Monteverde avait trouvée, s'y introduisit peu à peu. Puis, en Allemagne, Luther, élève et ami du savant musicien Senfel, substitua dans les prières la langue vulgaire au latin et la musique rythmée au plain-chant : abandonnant le style des vieux maîtres de l'école gallo-belge, Gumpeltzhaimer, Hasler et Erbach créèrent une école allemande, qui surpassa celle de Palestrina pour la richesse et la variété de l'harmonie. Zarlino prétend que Willaert fut l'inventeur de la musique d'église à plusieurs choeurs; mais aucune composition du musicien belge en ce genre n'a été publiée, et bien des années s'écoulèrent avant que Benevoli, élève de Bernard Nanini, s'exerçât à écrire pour 4, 5, 6 et même 9 choeurs.

L'invention de la basse continue et la naissance du drame musical donnèrent l'idée d'introduire des accompagnements dans le style religieux. C'est ce que fit Carissimi. S'il enleva par cette innovation à la musique d'église un peu de sa gravité, il lui donna une variété plus grande, et ouvrit la voie à des effets inconnus jusque-là; il eut, d'ailleurs, le soin de ne pas faire jouer continuellement les instruments d'orchestre, et de les faire alterner avec l'orgue. Carissimi a aussi essayé, dans son Stabat, d'appliquer à la musique sacrée les formes du genre dramatique. Alexandre Scarlatti, son élève, alla plus loin encore : les instruments ne faisaient que suivre les voix; il imagina de leur donner des parties distinctes. 

Dans cette route s'engagèrent Marcello, Leo, Pergolèse, Durante, Jommelli, etc., et ce style nouveau prit le nom de style concerté. Jusque-là les maîtres avaient cru que le genre de la musique d'église devait être pompeux ou religieux, mais ils n'avaient point pensé à le rendre dramatique : Mozart, Haydn, Cherubini conçurent cette musique d'une manière toute dramatique ce qui a exigé beaucoup plus de développement, puisqu'il faut peindre une foule d'oppositions indiquées par les paroles sacrées. Lesueur alla même jusqu'à vouloir donner à la musique religieuse un caractère constamment imitatif. Parmi les compositeurs du XIX^e siècle qui ont le mieux écrit pour l'église, on remarque Hummel, Neukomm, Novello.