Au IV^e siècle, ce port était très commerçant; car il y avait, si l'on doit en croire certains historiens, deux préfets de navigation dont l'un, résidant à Paris, était désigné sous le nom de praefectus classis Anderetianorum Parisiis. En 710, Chilpéric rendit à Andrésy une ordonnance qui a donné à penser que les rois de la dynastie mérovingienne y possédaient un château. Du reste, des débris de portes et de tours prouvent qu'au Moyen âge il a été fortifié. En 1592 il s'y tint des conférences pour la conversion d'Henri IV. La seigneurie d'Andresy (ou d'Andrézy, comme on écrivait autrefois) appartenait à une branche de la maison de l'Isle-Adam.

Aujourd'hui, Andrésy, c'est d'abord une longue rue bordée de chaque côté de commerces (c'étaient jadis des maisons de vignerons); mais, de la belle promenade qui longe la Seine, on découvre de charmants paysages, et les coteaux qui s'élèvent à l'ouest offrent l'une des plus belles vues panoramiques des environs de Paris.

Le  clocher en ardoise de l'église d'Andrésy, qui surmonte une tour carrée dont un côté seulement est ancien, attire de loin les regards. L'entrée principale, située sous cette tour, s'ouvre dans la grande rue, mais il y a une autre entrée sur le quai à côté du choeur. Un porche ogival orné autrefois de sculptures précède la porte, de chaque côté de laquelle s'élevaient jadis cinq colonnes élégantes; à gauche, on a coupé trois de ces colonnes, au-dessous des chapiteaux mutilés, pour mettre à leur place la porte du clocher. La porte franchie, on descend dix marches. L'intérieur se compose d'une nef et de deux bas-côtés; mais toute la partie gauche de la nef et le bas-côté gauche, beaucoup plus large que le bas côté droit, ont été reconstruits en même temps que les  trois côtés de la tour, à une époque comparativement moderne. Les seules parties vraiment intéressantes de cette église sont le côté droit de la nef et le bas-côté droit, qui paraissent dater du XIII^e siècle. Les galeries du premier étage sont assez bien conservées.

On peut encore voir à Andrésy un pont suspendu sur l'Oise; de nombreuses villas, notamment une des maisons de campagne qui a appartenu à la comtesse de Marsan, gouvernante des enfants de France, qui y menait souvent ses élèves. Une autre curiosité est le Manoir de Denouval, avec sa tourelle vitrée. Il a été construit entre 1904 et 1908, par l'architecte Pierre Sardou (fils du dramaturge Victorien Sardou) et a été acquis en 1945 par une association en charge de recueillir les orphelins juifs qui avait survécu aux déportations. Aujourd'hui une partie du beau parc boisé qui entoure le manoir et descend jusqu'à la Seine est conservée. Une autre sert à des immeubles d'habitation.
-

Le Manoir de Denouval, à Andrésy. © S. Jodra.