En plus de plusieurs produits hardware, la conférence Google I/O 2022 a été l’occasion d’annonces concernant des nouveautés software prometteuses. Les fonctionnalités « Scene Exploration » et « Multisearch » permettent d’affiner les recherches par images au moyen de mots-clés ou grâce à des informations complémentaires sur les produits scannés par la caméra dans le monde réel. L’objectif de ces améliorations, comme avec les contenus textuels, est de proposer une réponse la plus précise possible à l’internaute.
Des recherches par image affinées
La capacité des Google Lens des smartphones augmente avec le développement des applications de l’Intelligence artificielle. Avec Multisearch, il est possible d’ajouter des détails à une recherche effectuée à partir d’une image déjà enregistrée ou prise depuis l’appareil photo du mobile. Ceux-ci peuvent porter sur la couleur de l’article, la marque ou la localisation des magasins qui le vendent à proximité du lieu où il se trouve, etc. Le moteur affiche des photos similaires qui tiennent compte des paramètres indiqués.
Google offre même de dénicher un meuble en particulier en fonction du style décoratif de la pièce de la maison photographiée. De même, pour apporter les soins adéquats à une plante dont il ignore le nom, l’utilisateur n’a qu’à la prendre en photo avec Google Lens, associée à la requête « conseils d’entretien ».
Quant à la fonctionnalité « Scene Exploration », elle apporte des informations en temps réel sur les éléments de l’environnement physique capturés. Elle sera particulièrement utile en magasin, où Google Lens scanne les articles exposés sur le rayon, même encombré, et affiche automatiquement les renseignements concernant ceux qu’il reconnait. Parmi les caractéristiques qu’il est en mesure de fournir figurent le type de produits ou encore la note attribuée par les consommateurs ou par une application telle que Yuka. En outre, des options de tri sont intégrées, par exemple pour spécifier les allergènes dans les denrées alimentaires.
Des capacités de reconnaissance améliorée par l’IA
Les nouvelles fonctionnalités développées par Google sont permises par l’utilisation de l’Intelligence artificielle pour renforcer les capacités de reconnaissance de Lens. La firme de Mountain View a par ailleurs déclaré œuvrer à optimiser Multisearch avec son nouvel algorithme MUM. Acronyme de « Multitask Unified Model » (ou Modèle Unifié Multitâche en français), cet outil jouit d’une grande puissance en matière de compréhension et d’interprétation du langage naturel. Ainsi, il utilise tous les mots-clés pour analyser les intentions des internautes et répondre de manière pertinente à des questions complexes.
Les Américains sont les premiers à accéder à la fonction Multisearch. Pour le moment, celle-ci n’a été développée qu’en anglais, pour l’application Google des mobiles tournant sous Android et iOS. Aucun détail n’a filtré concernant la traduction de la fonctionnalité dans d’autres langues, mais tous les utilisateurs auront accès aux données géolocalisées dans la recherche multiple d’ici la fin de l’année. Le public attend également une date pour l’arrivée de la technologie Scene Exploration.
