Auch wenn die altertumswissenschaftliche Seite Kestners, seine archäologischen Aktivitäten und sein Interesse an der ägyptischen und griechisch-römischen Antike sich schließlich sehr stark in seiner Sammlung niederschlagen, ist der Beginn seiner Sammelleidenschaft im kunsthistorischen Bereich zu sehen. Bereits kurz nach seiner Rückkehr nach Rom beginnt Kestner mit dem Aufbau seiner Sammlungen.