Grégoire de Tours est le premier historien qui parle de cette église ou basilique. Il nous apprend qu'il logeait, lorsqu'il venait à Paris, dans les bâtiments qui en dépendaient et qu'on affectait au soulagement des pauvres pèlerins. Nous avons plusieurs exemples d'hospices et d'hôtelleries construits à côté des églises dédiées à saint Julien, dont le nom était invoqué par les voyageurs pour obtenir bon gîte. Plusieurs circonstances du récit de l'historien tendent à prouver que cette église existait avant l'année 580. Les Vikings ruinèrent les bâtiments de la basilique de Saint-Julien. Ses biens, qui étaient pourtant le patrimoine des pauvres, furent à la fin de la dynastie mérovingienne, usurpés par les seigneurs laïques. Par une charte de 1031 ou 1032, Henri I^er fit don de cette église à l'évêque de Paris, à condition qu'un clerc nommé Girauld aurait pendant toute sa vie la jouissance de son revenu.
-

Au commencement du XII^e siècle, les biens de l'église Saint-Julien étaient possédés par Etienne de Vitry et Hugues de Munteler, qui les cédèrent à l'abbaye de Longpont; cette église rebâtie alors parait avoir été érigée à cette époque en prieuré. L'Université, au siècle suivant, y tint ses séances qu'elle transféra aux Mathurins, puis au collège Louis-le-Grand. En 1655 le prieuré fut réuni à l'Hôtel-Dieu en vertu d'un traité passé entre les administrateurs de cette maison et les religieux de Longpont. Le roi n'accorda néanmoins ses lettres-patentes qu'en 1697. L'église ne fut alors desservie que par un chapelain que la paroisse Saint-Severin avait seule le droit de nommer. 
A côté de Saint-Julien-le-Pauvre était située la chapelle de Saint-Blaise et de Saint-Louis qui en dépendait. Les maçons et les charpentiers y établirent leur confrérie en 1476. Rebâtie en 1684, elle fut démolie à la fin du XVIII^e siècle, et le service en fut transféré dans la chapelle Saint-Yves. 

L'église Saint-Julien était aussi le lieu de rassemblement des confréries de Notre-Dame-des-Vertus, des couvreurs, des marchands papetiers et des fondeurs; l'on y faisait les catéchisme et retraite des savoyards, en exécution d'une fondation faite par l'abbé de Ponthriand. La partie du portail de Saint-Julien-le-Pauvre qui existe encore aujourd'hui, paraît se rapporter par les caractères de son architecture, à la fin du XIII^e siècle.