Vi kan føre Høng Efterskoles historie tilbage til 1866, hvor Høng Folkehøjskole blev opført. Højskolen var dog startet allerede i 1864 i en dagligstue i Sæby ved Høng. Høng Folkehøjskole er mor, bedstemor eller oldemor til de mange Høng-skoler, bl.a. Høng Privatskole,  Høng Landbrugsskole,  Høng Erhversskole, Høng Efterskole og  Høng Gymnasium og HF.

Den første skolebygning fra dengang, indgår stadig i kernen af det store bygningskompleks som udgør Høng efterskole idag. Højskolens første forstander E.M. Rotwitt blev hentet over til Sjælland fra Uldum højskole, og ledte skolen i dens første år (1864-72). Siden blev han afløst af Anders Jørgensen, og det var ham der fik ideerne til at starte de mange andre projekter op i byen.

Den gamle foredragssal hvor Anders Jørgensen talte fra, er bevaret i oprindelig stand, og huser stadig stedets morgensamlinger.Højskolen fungerede som sådan indtil 1925, da de samvirkende sjællandske Husmandsforeninger overtog skolen for at omdanne den til Husmandsskole. I dag er skolen en privat selvejende institution, der siden 1954 har fungeret som grundtvigsk efterskole. Sjællandske familiebrug udpeger stadig 2 af de 7 medlemmer i bestyrelsen.

1948-64 Ernst og Gerda Fink

1964-74 Chr. og Grethe Marie Mouridsen

1974-92 Johannes og Bodil Ulriksen

1992-2014 Bente Johnsen og Aksel Johansen

2014- Thorkild Specht

1864 Højskolen grundlagt – lejede lokaler i Sæby

1866 Højskolen flytter til Høng – første bygning

1872 Anders Jørgensen afløser E.M. Rotwitt

1912 Tormod Jørgensen overtager skolen fra sin far og forsøger at starte en udvidet højskole

1925 De Samvirkende Sjællandske Husmands-foreninger overtager skolen og omdanner den til husmandsskole

1954 på grund af svigtende elevtal på husmandsskolen tilknyttes en efterskoleafdeling: piger om sommeren og drenge om vinteren.

1963 Nu udelukkende efter-skole med fællesophold på 10 måneder

2014  Sjællandske husmandsbrug trækker sig fra bestyrelsen i fred og fordragelighed.