勋爵时代
1540 年，作为亨利八世宗教改革的一部分，威廉?德雷珀爵士受命调查圣艾瑟尔达礼拜堂。他声称发现了诸多违规与堕落行为，修道院随之被解散，灰礁岛被赐予德雷珀家族的亨利?布莱克伍德勋爵。布莱克伍德勋爵出身雇佣兵，行事粗鲁且手段残忍，他以铁血方式镇压当地民众的反抗。传说，一位当地的预言者因反抗他的统治而遭到诅咒：“你的家族血脉将在第六代断绝。” 布莱克伍德勋爵听闻后，当众将预言者折磨致死，并狂妄宣称：“你的血脉今日便会消亡。”
然而，随着时间推移，德雷珀家族的后代逐渐变得温和仁慈。他们对圣殿教堂加以保护与修缮，家族宅邸 —— 灰礁庄园也成为岛上建筑的核心。第二代勋爵理查德?德雷珀，因喜爱安静独处，被伦敦的文人雅士称为 “沉默勋爵”，这或许就是后来寂语圣殿别称的由来。1580 年，理查德修复守夜者塔楼，并颇具前瞻性地在塔顶建造了一座天文台。次年，当大彗星划过夜空时，他的女儿伊丽莎白与一位来自约克的吟游诗人私奔，不过最终父女俩重归于好。
第三代勋爵爱德华对灰礁庄园进行了大规模内部改造，他的许多创新设计在后续的改建中虽已消失不见，但庄园内连接各楼层的螺旋阶梯依然保留至今，成为独特的景观。爱德华在内战中支持查理一世，然而，1650 年，他的儿子托马斯因被指控叛国，被他亲手送上绞刑架。丧子之痛让爱德华心碎不已，最终他获得特许，将儿子葬在自己身旁，如今在教堂东侧，仍能看到他们并排的墓碑。
1660 年代，第四代勋爵 “灰礁之鸽” 亚历山大修复了霜晶塔楼，将其作为学者兼古文物收藏家玛格丽特?阿什顿的住所，协助她进行图书馆的整理与扩建工作。亚历山大的儿子杰弗里，因其身上独特的斑纹胎记，被人戏称为 “斑纹勋爵”，医师塔楼也因此被改称为斑纹塔楼。
第六代也是最后一位勋爵是菲利普，他是一位痴迷于鸟类研究的古怪绅士，特意建造了海鸥了望塔来存放他收集的珍稀鸟类标本。菲利普意外从塔顶坠落身亡后，年仅二十岁的女儿凯瑟琳继承了庄园。凯瑟琳在宫廷中曾是备受瞩目的名媛，但在与一位法国贵族订婚却惨遭抛弃后，她心灰意冷地回到灰礁岛。令人惊讶的是，就在她返回后的第三天，那位法国贵族的尸体在多佛尔海滩被发现，其面部被海鸟啄食得面目全非，随身仅携带了一封神秘信件，信件内容似乎暗示他是为外国势力服务的间谍。凯瑟琳此后终身未嫁，她开放家族图书馆，吸引了来自世界各地的学者与访客。部分访客是她精心挑选而来，受邀参加在庄园大厅举办的神秘学术盛宴；而更多人则是被她的学识与智慧所吸引，其中包括声名远扬的学者乔纳森?格雷，他与凯瑟琳的密切交往曾引发诸多流言蜚语。