I 1574 fik øerne et selvstændigt pastorat, og Omø fik sin egen kirke, som blev bygget fire år senere i 1578, mens Agersø samme år fik bygget et lille kapel af træ. Den første præst, Christian Lauridsen, kom i 1574. Han var også præst på Omø og boede der.
I 1621 flyttede den første præst til Agersø og der har været præst siden. Det var først i 1805, at den første kirke blev bygget. Den henstod umalet til 1848, hvorefter den blev revet ned efter pinsegudstjenesten i 1872.
Den nuværende kirke er tegnet af Arkitekt I. D. Herhold, som også prægede Grundtvigskirken i København. Kirken blev opført og åbnet i samme år 1872 og har plads til 150 personer. Den er bygget i røde sten med et lille tårn mod vest, har kamtakker, og langhusets østgavl prydes af fire smalle rundbuede blændinger der går helt ned til soklen. Inde i kirken prydes endevæggen af et stort kalkmaleri: en hel masse grene med vindruesklaser, og har et lille fint alter.
Over alteret på væggen er skrevet: “Jeg er vintræet – i er grenene”– altertavlen er fra omkring 1650, men kun nogle få dele af den oprindelige altertavle er bevaret - de stammer fra trækapellet opført i 1578. Orgelet er et Poul Gerhard Andersen orgel fra 1971 med fire stemmer.
Døbefonten er fremstillet af billedhugger Gunnar Hansen, Bagsværd, og er opsat i 1983. Agersø kirke er altid åben fra solopgang til solnedgang, og den er absolut et besøg værd. Kirken er smukt, lys, spartansk og enkelt indrettet med kalkmalerier i dæmpede farver. Kirkeklokkerne ringer solen op og ned hver dag samt klinger ved gudstjenester og kirkelige handlinger.