Gründung der Burg um 1100. Die Familie von Waldburg erhielt von den Welfen ein Amtslehen. Unter Kaiser Friedrich II wurden die Reichskleinodien (Herrschafts-Insignien des Kaisers) ca. von 1220 bis 1240 in der Waldburg aufbewahrt.
Im 13. / 14.Jahrhundert Neubau des Palas und Erweiterung des Kapellenturms.
1327 erfolgte der Bau der Kirche St. Magnus unterhalb der Burg.
Im 16. Jahrhundert Ausbau zu einem schlossähnlichen Herrschaftssitz.
Die Waldburg war die Heimatburg des Truchsess Georg III. von Waldburg-Wolfegg-Waldsee (Bauernjörg), der als Kommandeur der Truppen des Schwäbischen Bundes in den Bauernkriegen die aufständischen Bauern-Heere besiegte.