現今香港境內最早的漢族聚落，出現於中國唐朝末年，但這些聚落留下的資料極少，我們難以知道當時的人口或有多少村落。到了北宋，大量的漢人村落已在今天的土瓜環、新蒲崗、錦田和新田等地，由林、陶，鄧等氏族建立起來。之後在元、明，清朝，陸續有更多家族從中國各地遷移到香港地區，至清代遷界令前，新安縣內已有約三十個姓氏以及五百條村莊。

今天我們所知的圍村（見附錄三），很多早在明代甚至更早就已經建立。然而，很多這些圍村建立之時，皆只屬普通的小型村落，並未建立防衞設施。例如著名的錦田吉慶圍，早在明代成化年間（1465-1487年）建村，但一直到清代康熙年間（1662-1722年）才建立圍牆。 這些圍村多於清代遷界令解除後才建立圍牆，因為遷界期間香港地區幾無人煙，成為盜賊窩藏之所，也造成了權力真空。而遷界令也使原本的控制地方的大氏族勢力衰落（見第四章第一節），當他們在復界後回到原來的村莊，便須要建立防衞設施以對抗盜賊和其他敵人的攻擊。