干部退休以 干部档案和户籍档案中最先记载的出生日期为依据。具体来说，退休年龄的认定是根据个人的档案信息，特别是档案中记录的出生日期来确定。如果身份证与档案中的出生日期不一致，一般以档案中的出生日期为准。
此外，干部档案的保管地点可能因地区和职务而异。例如，副县、副处级及以上干部的档案通常保存在市委组织部，而科级及以下干部的档案一般保存在主管机关或用人单位。退休后，档案的保管也遵循相应的规定，可能由原单位保管，也可能转移到当地社保部门或实行社会化管理的社区保管。
综上所述，干部退休时，应以干部档案和户籍档案中最早记载的出生日期为准，并根据具体保管地点和规定进行档案的移交和管理。