Rembrandt tot leven gewekt door technologie en data

De Meester van Licht en Schaduw wordt tot leven gewekt om nog één schilderij te maken – alleen dit keer is de data de schilder, en technologie het penseel. 

Vanochtend is een portret onthuld van een man in zwarte zeventiende-eeuwse kleding met een witte kraag en een hoed, ten overstaan van een vol auditorium. Het schilderij is gemaakt op basis van data van Rembrandts complete oeuvre, waarbij gebruikt is gemaakt van deep learning-algoritmes en gezichtsherkenningstechnieken. Het schilderij bestaat uit 148 miljoen pixels, gebaseerd op 168.263 schilderijonderdelen van Rembrandts hand.

Het project is een samenwerking tussen presenting partner ING, reclamebureau J. Walter Thompson Amsterdam, supporting partner Microsoft en adviseurs van de Technische Universiteit Delft, Het Mauritshuis en Museum Het Rembrandthuis.

Dit kunstwerk doet de grenzen tussen kunst en technologie vervagen, met als doel de conversatie te voeden over de relatie tussen kunst en algoritmes, tussen data en menselijk ontwerp en tussen technologie en emotie.

Het complete verhaal achter dit unieke schilderij is te vinden via www.nextrembrandt.com. Het schilderij binnenkort geëxposeerd op een locatie die later bekend gemaakt wordt.

Het proces
Het portret is het resultaat van een complex proces, waar een team van datawetenschappers, ontwikkelaars, technici en Rembrandt-experts deel van uitmaakte. In meer dan achttien maanden is 150 gigabyte aan digitaal gerendeerd beeld opgeslagen. 

Het is allemaal begonnen met de data. De eerste stap in het maken van The Next Rembrandt was het analyseren van alle 346 Rembrandt-schilderijen met een hogeresolutie 3D-scans en digitale bestanden die verrijkt werden met een deep learning-algoritme. Supporting partner Microsoft droeg zijn platform Azure bij om deze data te hosten en te analyseren – wat uiteindelijk de basis werd van The Next Rembrandt.

Toen moest het onderwerp bepaald worden. De meerderheid van de gehele Rembrandtcollectie bestaat uit portretten – tevens het meest consistente onderwerp. Samen met de Rembrandt-experts is de demografische onderverdeling van de mensen in deze portretten bepaald. Hierdoor werd het onderwerp uiteindelijk: een portret van een Kaukasische man tussen de dertig en veertig jaar oud, met gezichtsbeharing, zwarte kleding met een witte kraag en een hoed, die naar rechts kijkt.

Hierna werden de kenmerken van het onderwerp gecreëerd in de stijl van Rembrandt. Er werd een softwaresysteem ontwikkeld dat in staat was Rembrandt te begrijpen op basis van zijn gebruik van geometrie, compositie en materialen. Een gezichtsherkenningsalgoritme onderscheidde en classificeerde de meest typische geometrische patronen die Rembrandt gebruikte om menselijke kenmerken te schilderen. De geleerde principes werden toen toegepast om de stijl te kopiëren en nieuwe gezichtskenmerken te genereren voor het schilderij.

Vervolgens werden deze individuele kenmerken verzameld in een compleet vormgegeven gezicht en buste, volgens de verhoudingen die Rembrandt ook gebruikte. Nadat het 2D schilderij klaar was, werden diepte en textuur toegevoegd. Met behulp van TU Delft is een hoogtekaart gemaakt om patronen op het oppervlak van doeken vast te stellen. Door pixeldata om te zetten naar hoogtedata, kon de computer de penseelstreken van Rembrandt dupliceren.

Tot slot werd een geavanceerde 3D-printer – speciaal ontworpen voor hoogwaardige reproducties van bestaande kunstwerken – gebruikt om het schilderij tot leven te brengen. Uiteindelijk werden dertien lagen UV-inkt over elkaar heen geprint om een realistische schilderijtextuur te creëren.

Gary Schwartz, kunsthistoricus: 'The Next Rembrandt is een fascinerende oefening in kennis. De ontwikkelaars verdienen erkenning omdat ze zich hebben ingezet voor het vaststellen van de kenmerken die een Rembrandt tot een Rembrandt maken. Dat het gebruik van computertechnologie het mogelijk maakt om de resultaten van hun onderzoek te digitaliseren, in 3D te printen en verder te verfijnen, geeft de expert een nieuwe tool in handen. Hoewel niemand zal beweren dat een Rembrandt te reduceren is tot een algoritme, kun je met deze techniek wel in een concrete, visuele vorm je eigen ideeën testen over zijn schilderijen.'