1928年、英国北東部ダウントン。広大な領地を収めるグランサム伯爵ロバート（ヒュー ・ボネヴィル）一家は喜びの日を迎えていた。亡き三女シビルの夫トム（アレン・リーチ）が、モード・バッグショー（イメルダ・スタウントン）の娘と結婚したのだ。華やかな宴が開催されるなか、長女メアリー（ミシェル・ドッカリー）は、傷みが目立つ屋敷の莫大な修繕費の工面に悩んでいた。そんな折、映画会社から新作を屋敷で撮影したいというオファーが舞い込む。高額な謝礼を期待したメアリーは、父の反対を押し切って撮影を許可。ハリウッドスターがやって来るとあって、使用人たちは胸をときめかせるのだった。一方、ロバートは母バイオレット（マギー・スミス）が、モンミライユ男爵から南仏にある別荘を贈られたという知らせに驚く。その寛大すぎる申し出に疑問を持ったロバートは、妻コーラ（エリザベス・マクガヴァン）、次女イーディス夫妻、トム夫妻、引退したはずの老執事カーソン（ジム・カーター）と共にリヴィエラへと向かうのだが……。