東北の小藩で用人を務めた三屋清左衛門（北大路欣也）は、仕えた藩主の死去とともに職を辞し、家督を息子に譲り隠居生活を始める。家庭を顧みる余裕もないほど仕事に明け暮れた毎日は一変し、“残日録”と自ら名付けた日記に日々のことを綴る悠々自適の生活を送っていた。息子の嫁・里江（優香）や小料理屋「涌井」の女将みさ（麻生祐未）たちと関わりながら“隠居の身”を実感する清左衛門。世間から隔絶されてしまったような寂莫感に襲われることもあるが、そんな思いも束の間、清左衛門のもとには、親友の町奉行・佐伯熊太（伊東四朗）らから様々な事件が持ち込まれる。隠居の身の気軽さもあり、清左衛門は事件解決に奔走。しかし、いつしか藩を二分する政争に巻き込まれてゆく……。