在第六季中，家族成员的生活遭遇戏剧性的变化，Earl of Grantham在拜访了一位靠着变卖家当以维持生计的邻居之后，意识到他必须精简开支。为了省钱，夫妇二人无奈遣散了家中的仆人。为了学会自己照顾自己，从穿衣到做饭，他们都需要自己动手。令人吃惊的是，推动这一改变的正是家族的大家长Earl of Grantham。他意识到家族的命运开始走向衰落。为了维护摇摇欲坠的庄园，他们需要付出一些代价，那就是家族的成员们不能再像以前那样奢侈地生活……
在第五季开始，当地人准备建立一座战争纪念碑，但是Carson和Robert、Hughes夫人发生了矛盾。Jimmy吸引了一些女性的关注，结果给他带来了大问题。Baxter被迫面对一个最后通牒。Tom与Sarah的友谊快速发展，这引发了Robert的担忧。Mary已经做好了再次寻找爱情的准备。Edith和Drewe的特别安排可能彻底崩溃，因为她越来越不能控制自己的感情，这给每个人都带来了灾难性的后果。
故事讲述了1912-1914年，乔治五世时期，唐顿庄园的Grantham伯爵一家，由家产继承问题而引发的种种纠葛和摩擦，呈现了英国上层贵族与其仆人们在森严的等级制度下的人间百态。
