Cafe Victor ligger i den ærverdige Thommesengården, en kjøpmannsgård etter Handelshuset Thommesen Smith.

Gården var sentrum for virksomheten til Thommesen Smith, som omfattet bl.a. skipsrederi, skipsbyggeri og tømmerhandel. Arkitekt for gården var Nestor Gregorius Thommesen, og det italienske stukkatørfirmaet Brødrene Guidotti, ble engasjert i arbeidet. Thommesengården ble oppført etter den store bybrannen i 1868, og stod innflytningsklar allerede i 1872. Gården ble restaurert i 1979 etter undersøkelser av Riksantikvaren og fasaden ble malt i opprinnelige farger og mange gipsornamenter ble fornyet. I 1990 fikk Thommesengården Aust Agders fylkes bygningsvernpris.