AI-verktøy hjelper brukere med synstap å huske omgivelser bedre

AI-systemet VIPTour er satt til å betydelig forbedre hvordan personer med blindhet eller svak syn (BLV) oppdager nye omgivelser.

Et forskerteam utviklet VIPTour som et system som lar brukere oppdage parker og turistattraksjoner på egen hånd, noe som igjen forbedrer deres nytelse og forståelse av rom. Deres funn ble publisert i Nature.

Systemet integrerer et kompakt kamera med en smarttelefonapplikasjon som kjører en AI-algoritme kjent som FocusFormer. FocusFormer behandler scener i sanntid, for å identifisere viktige punkter som sikkerhetsmarkører.

Systemet gir anbefalinger for utforskning, som tilpasser seg individuelle brukerpreferanser, som for eksempel å velge naturlige lyder over historisk informasjon.

Forskerne argumenterer for at BLV-samfunnet kan dra nytte av VIPTour gjennom tilpasset veiledning basert på brukerinteresser, forenklet lyd, taktile beskrivelser av komplekse scener, samt muligheter for å gjenoppleve og dele turer. Systemet er satt til å tilby funksjoner som tjener til å forbedre brukeropplevelser utover grunnleggende assistanse.

I forsøk med mer enn 30 BLV-deltakere, var fordelene slående. Emosjonell velvære forbedret seg dramatisk, med en økning på 67,9% i positive følelser og en økning på 94,7% i spenning. Brukerne viste også en forbedring på 772,73% i gjenkalling av scener, og langtidsminnefordoblingen doblet seg.

Mange rapporterte at de følte seg mer autonome og mindre avhengige av andre for å navigere eller forstå omgivelsene sine. Forskerne påpeker hvordan millioner av BLV-individer står overfor ekskludering fra fritidsaktiviteter på grunn av utilgjengelige miljøer, bemerket forskerteamet.

Selv om eksisterende verktøy hjelper folk med å komme seg fra ett sted til et annet, klarer de ofte ikke å skape behagelige, minneverdige opplevelser. VIPTour forsøker å fylle denne mangelen ved å blande avansert AI med gjennomtenkt, brukersentrert design.

Utviklerne håper at VIPTour vil inspirere til mer inkluderende teknologier som ikke bare fokuserer på tilgjengelighet, men også på autonomi og glede.