Orbe bénéficie depuis toujours d’un emplacement privilégié. A l’époque romaine déjà, elle constitue le dernier poste avant le Jura sur un axe de communication important reliant Milan à Strasbourg. Lors du déclin de l’Empire, Urba - comme nombre de ses semblables - est détruite par les incursions barbares autour du IVe siècle. A part la villa romaine et ses mosaïques, il n’en subsiste aujourd’hui plus rien.

Dans la deuxième moitié du VIe siècle, Gontran, roi des Francs de Bourgogne, fait réparer l’ancienne voie romaine. Il y construit des hospices et des hôtelleries pour les pèlerins, à une distance d’une journée de marche l’un de l’autre. Dotés d’églises et de marchés, ces lieux attirent les populations éparpillées dans les environs et donnent ainsi naissance à plusieurs villes, dont Orbe. C’est à cette époque que remonte la première fondation du château.

Par la suite, jusqu’au XIIIe siècle, Orbe passe par diverses périodes de gloire, comme résidence du gouverneur de l’Helvétie occidentale au nom des rois de France, ou comme capitale de la Bourgogne transjurane. Les rois de Bourgogne y séjournent régulièrement et elle reçoit la visite de plusieurs Papes. Mais elle est aussi le théâtre de nombreuses luttes de pouvoir. Pour les seules années 855 à 876, Orbe change ainsi sept fois de maître!