西屿乡最著名的莫过于西台古堡，现已列为国家一级古迹。这座清光绪12年（1887年）所建的海防炮台遗址曾经为清朝水师的基也，占地约8公顷，位于外峖村东方的临海高地上，城堡下方供军队驻守的山字型隧道可容纳5000名驻军。走进城堡中立刻感受一阵清凉，隧道的传音效果极佳，即使在远处的私语仍是清晰可闻。城堡外本有四门大炮，现已移至文化中心。登古堡遥望远洋，让人忍不住发思古幽情。