Zoals de meeste zwervers leiden ook zwerfkeien meestal een eenzaam bestaan. Het merendeel van de Nederlandse zwerfkeien is afkomstig van schuivende gletsjers en ijsmassa's die het landschap hier vele duizenden jaren geleden behoorlijk overhoop haalden. Sommige liggen hier al zo'n 150.000 jaar!
De keien komen vanuit het noorden van Europa. Tijdens verschillende ijstijden schoven grote massa's ijs onze richting op. Vanuit het hoge noorden namen ze alles mee wat ze op hun weg tegenkwamen zoals bomen en grote keien. De keien waren afkomstig uit de gebergten en wogen vaak vele duizenden kilo's.
Omdat de ijslagen niet verder zijn gekomen dan het midden van Nederland, zijn de zwerfkeien vooral in het noordelijk deel van ons land te vinden. De grenslijn loopt min of meer van Haarlem tot Nijmegen.
Door de eeuwen heen gebruikte men zwerfkeien voor allerlei doeleinden. Het bekendste voorbeeld zijn de hunebedden. De meeste daarvan stammen uit de nieuwe steentijd, ongeveer 3200 jaar voor onze jaartelling. Eeuwen later stonden de steunbalken bij oude boerderijen vaak op grote keien en werden zwerfkeien gebruikt als markering bij grenspunten.
De zwerfsteen in het Friese Rottum is de grootste zwerfkei ooit in Nederland gevonden. Onderzoek heeft uitgewezen dat de steen afkomstig is uit het Uppland-gebied dat ten noorden van Stockholm ligt. De steen bestaat uit oergraniet en is zeer waarschijnlijk drie miljard jaar geleden gevormd. Hij is 4,70 meter lang, 3,10 meter breed en 2 meter hoog en weegt 44 ton (44.000 kg). Volgens de verhalen was de steen vroeger veel groter en woog hij meer dan 150 ton. In de 19de eeuw is de steen namelijk met dynamiet bewerkt. De losgekomen steenbrokken waren een welkom product bij de vorming van de zeewering.