Kunstnerhuset er opført som en tilbygning til Skærbæk Fritidscenter, hvor det ellers er idrætslivet, der fylder mest.
Tilbygningen opført i to etager med en nordvendt glasfacade, og udnytter terrænspringet i forhold til det oprindelige byggeri, så stueetagen i centeret er ført videre ud i den øverste etage i Kunstnerhuset.