Lorsque la papauté s’installa à Avignon, le maréchal de la Cour romaine et  l’administration de la ville organisèrent le logement du pape et des cardinaux, souvent par expropriation. Les demeures réquisitionnées ou rebâties prirent le nom de "livrée". Le pape s’installa tout d’abord dans le palais épiscopal et plusieurs maisons limitrophes. La rue y conduisant s'appela donc de la Livrée. Celui-ci demeura gravé jusqu’en 1792 à l’angle avec la rue de la Banasterie, sur la façade de l’hôtel Madon de Châteaublanc, mais fut martelé par un révolutionnaire mécontent.

 

La rue fut dès lors appelée de l’Union, puis Vice-Légat par la commission du plan général d’alignement de 1843.

Les vice-légats pontificaux avaient pour fonction d'assister le légat dans l'administration de la cité à partir de 1542. Ils prirent une importance grandissante au point de rester seuls gouverneurs de la ville de 1691 à 1791, date du rattachement d'Avignon à la France. Leur mainmise n’alla pas sans conflits avec la population  (Fronde avignonnaise  entre 1652 et 1659 entre Pévoulins et Pressugaux, et contre le vice-légat Alexandre Colonna en 1664).

 

On remarque un vestige de l’ornementation de la « porte de fer » du XVIème siècle, qui permettait au vice légat d’entrer ou de sortir discrètement de ses appartements du Palais.