沙田最早的先民是本地人，他们约于500年前移居至此，在区内开村立业；客家人则在200至300年前开始在沙田聚居。曾大屋约于130年前由一位石匠所建，这位曾姓石匠在西湾河经营石矿场，并在筲箕湾开设三利石厂，发了大财，决定以毕生积蓄兴建一条氏族围村供子孙安居。曾大屋围村采用了这位主人翁于东北五华老家的建筑风格，因此外观与新界其他围村迥然不同。曾大屋是五进式建筑，北面围墙有三个入口，正中是正门，直接通往祠堂。前庭有两口水井，曾几何时是围村的食水来源。大屋瓦顶的飞檐别具特色，雕塑有镇宅僻邪的作用。这条围村通称曾大屋，又名山下围。