Als 1739 beschlossen wurde, Schulen in ganz Dänemark zu bauen, gab es auf Agersø ein Problem: die gesamte Insel war im Besitz des Justizrats Worm, und dieser war der Meinung, dass es weder Platz noch Geld dafür auf der Insel gab.
Es endete aber damit, dass er die Wohnung des Stadtschreibers in der Nähe der Kirche ausbaute und so konnte diese gleichzeitig als Schulstube benutzt werden. Man erweiterte damit einfach gleichzeitig die Arbeitsaufgaben des Stadtschreibers mit denen des Schulmeisters. Somit gab es auf Agersø ein sogenanntes Schulhaus ab 1741.
Es war allerdings wenig attraktiv damals, Schulmeister zu sein und einer der ersten schrieb auch an den Bischoff und bat ihn, mit dem verarmten Stadtschreiber gnädig zu sein und ihn von der Insel zu versetzen. Über eine längere Periode (1809-16) wurde der Unterricht von lokalen Kräften durchgeführt.
1825 machte der damalige Schulmeister die ersten Berechnungen für eine neue Schule, die dort liegen sollte, wo die heutige noch ist. Die Mauern sollten aus Lehm, Stroh und Reis bestehen. Dies war auch bitter nötig, da bei dem alten Gebäude der eine Giebel eingestürzt war und man dieses ein Regen und Sturm nicht benutzen konnte. 1829 gab es nur einen brauchbaren Pult, die Schüler sassen auf dem Boden und ausserdem war es zu eng - es gingen damals ca. 77 Kinder zur Schule.
Aber erst 1882 beschloss der Gemeinderat, eine neue Schule zu bauen: ein gemauertes Gebäude mit Ziegeldach, Lehrerwohnung und Klassenzimmer. Bereits im September des gleichen Jahres war die Schule erbaut.
1960 kam ein kleinerer Anbau dazu, der als Gemeindebüro und Bibliotek diente. Nach der Gemeindereform von 1966 mietete sich Skælskør Bank vorübergehend in einen Teil des Gebäudes.
1998 fügte man einen freistehenden Holzpavillion von ca. 71 qm hinzu.
Im Sommer 2014 wurde Agersø Schule für den täglichen Schulbetrieb geschlossen. Im Moment arbeiten Bewohner und Kommune zusammen, um Agersø Naturcenter noch im Jahr 2015 zu etablieren, um das Schulgebäude als aktives Element in unserer Dorfgemeinde zu erhalten.