Navnet Sem, som er en forenkling av det gammelnorske Sæheimr, er en sammentrekning av sæ og heimr som betyr hjemmet ved sjøen. Navnet indikerer en bortimot to tusenårig æra med jakt, fiske, skog- og jordbruksdrift. Med sin fruktbare beliggenhet ved Semsvannet, og sine generasjonsrike skog- og landbrukstradisjoner, dannet eiendommen et naturlig utgangspunkt for opprettelsen av den privateide Sem landbruksskole i 1886 i regi av Bernt Holtsmark. Via Statens overtagelse av eiendommen i 1914, har Sem i mer enn hundre år vært et senter for utdannelse, og huset institusjoner som Statens Småbrukslærerskole og Norges landbrukshøgskole.

Sem Gjestegård overtok de ærverdige bygningene og etablerte sin virksomhet som kurs- og konferansested etter omfattende renovering og ombygging, og åpnet høsten 1995.