door Dept, partner | 26 april 2017, 11:23 in Marketing Technology
Tam-Tam

Bouwen aan Robocop

Marlien de Roo, partner | 26 april 2017, 11:23

Als digital agency vinden we niets leuker dan knutselen met techniek. De Dutch Open Hackathon is daar altijd een mooie gelegenheid voor. In deze snelkookpan worden ideeën met de snelheid van het licht verwezenlijkt. Tijdens de laatste editie van de hackathon hebben we een systeem gemaakt dat augmented reality via de Hololens naar de helmen van motoragenten brengt.

Motoragenten opereren vaak alleen en hebben onderweg te weinig bewegingsvrijheid om de data en hulp op te roepen die ze nodig hebben. TamTam to the rescue. Via een app koppelen we allerlei databases van de politie aan de Hololens en verbinden we data aan context. Zo kan een motoragent in een ogenblik informatie opvragen, checks doen en hulp inroepen.

Voertuigscanner

De camera in de Hololens begint na het stemcommando ‘vehicle scan’ foto’s te maken. Deze foto’s sturen door naar onze Vehicle API, die het kenteken uit de afbeelding leest met behulp van OpenALPR. We doen een algemene auto-check in de open data API van de RDW en we kijken in de Politie API of een auto met dat kenteken gestolen of onverzekerd is, of dat er bekeuringen voor openstaan. Via Cortana geeft de Hololens voice feedback over de auto en wat er mee aan de hand is. De agent krijgt de informatie ook visueel te zien in zijn helm.

Visuele informatie delen

Als de agent hulp inroept, krijgen zijn collega’s dezelfde informatie te zien in hun helm of op het scherm van hun voertuig. Locatiegegevens worden gedeeld, zodat de agenten elkaar beter kunnen helpen bij een achtervolging;

Gezichtsherkenning

We hebben afbeeldingen van alle personen die gezocht worden uit de Politie API ingeladen in de Face API van Microsoft Cognitive Services. Zodra de agent het stemcommando ‘person scan’ geeft, laten we de Hololens continu foto’s maken. Deze foto’s komen in de Person API terecht, die ze doorstuurt naar de Face API om te zoeken naar een match met een van de ingeladen afbeeldingen. Is er een match gevonden? Dan geeft de Hololens via Cortana voice feedback over de status van de gescande persoon.

Tijdens de Hackathon hebben we deze features ontworpen, gebouwd en gedemonstreerd aan de politie. De jury was enthousiast en kroonde ons tot het beste team binnen de politie-track. We zien voor de toekomst nog meer kansen voor de Hololens bij de politie:

  • De Hololens ook beschikbaar maken voor straatagenten;
  • Bij een staandehouding documenten scannen, zoals rijbewijzen en paspoorten;
  • Live videostream naar het hoofdkantoor of naar andere agenten;
  • Geavanceerde navigatie;
  • Geavanceerde metadata, zoals van beveiligingscamera’s uit omgeving of plattegronden van situaties;
  • Situaties vastleggen voor bewijsvoering.

We hebben de politie met onze presentatie enthousiast gemaakt voor ons idee. Daarom hebben ze ons uitgenodigd voor een follow-up-sessie met hun product owner. To be continued.

Team
Tim Dekens, TamTam (Visual Design)
Franklin Schamhart, TamTam (Interaction Design)
Mark Toonen, TamTam (Visual Design)
Tieme van Veen, Freelance (iOS)
Jeroen Slor, Freelance (.NET)
Wessel Terpstra, Valtech (Backend)
Mitchell Ensink, Sogeti (Unity)

Reacties op dit artikel (0)

Comment author avatar

Dit is een bijdrage van

Dept

Partner

Meer van deze partner
Whitepapers van deze partner
Nu op Twitter