Das Institut wurde von der Österreichischen Akademie der Wissenschaften (ÖAW) auf Initiative von Herwig Friesinger und Herwig Wolfram am 1. Januar 1998 (zunächst auf fünf Jahre als Forschungsstelle für Geschichte des Mittelalters) aus mehreren traditionsreichen Akademie-Kommissionen gegründet.

Per 1. Juli 2012 wurden zwei weitere ÖAW-Forschungseinheiten dem Institut angeschlossen: das Institut für Byzanzforschung und die Kommission für Schrift- und Buchwesen des Mittelalters. Im Zuge dieser Erweiterung wurden vier Abteilungen eingerichtet:

Damit wurde von der ÖAW ein großzügiger Rahmen geschaffen, um nachhaltige Quellenarbeit zu betreiben und nationale wie internationale Forschungsnetzwerke auszubauen.