Αισθητήρας μεταφράζει τη νοηματική γλώσσα σε ήχο

Κινέζοι επιστήμονες δημιούργησαν έναν αυτοτροφοδοτούμενο αισθητήρα που μπορεί ανιχνεύοντας και παρακολουθώντας πολλαπλά περιβαλλοντικά ερεθίσματα να μεταφράζει τη νοηματική γλώσσα σε ήχο.

Ερευνητές του Πανεπιστημίου Tsinghua στο Πεκίνο ανέπτυξαν έναν αυτοτροφοδοτούμενο αισθητήρα με πολλαπλές δυνατότητες ανίχνευσης και παρακολούθησης περιβαλλοντικών ερεθισμάτων, που μεταφράζει τη νοηματική γλώσσα σε ήχο. Η ομάδα εμπνεύστηκε από το ανθρώπινο δέρμα που ανιχνεύει αλλαγές θερμοκρασίας, υγρασίας, πίεσης και φωτός. Η μοναδικότητά του είναι ότι δεν χρειάζεται εξωτερικό τροφοδοτικό και αυτό του προσδίδει ευελιξία στη χρήση.

Ο νέος αισθητήρας οξειδίου του γραφενίου τροφοδοτείται από μια υγρή ηλεκτρική γεννήτρια που ονομάζεται MEG, η οποία περιέχει μια μεμβράνη που απορροφά αυθόρμητα την υγρασία του αέρα. Όταν το νερό προσκολλάται στην επιφάνεια προκαλείται υψηλότερη συγκέντρωση ιόντων υδρογόνου στην κορυφή της μεμβράνης και διαφορά δυναμικού μεταξύ των δύο ηλεκτροδίων της. Η προσομοίωση της συσκευής μέσω υγρασίας, πίεσης, θερμοκρασίας και φωτός δημιουργεί ηλεκτρικά φορτία που προκαλούν διακύμανση δυναμικού, παράγοντας σήματα απόκρισης σε αυτά τα ερεθίσματα, όπως είναι η αυθόρμητη δημιουργία βιοηλεκτρικού δυναμικού στο ανθρώπινο δέρμα.

Στη μετάφραση της νοηματικής γλώσσας βοηθά η μηχανική μάθηση. Η διαδικασία υποβοηθείται από μια μονάδα μηχανικής εκμάθησης, η οποία συνδυάζει πολλαπλές εξωτερικές αποκρίσεις σε ένα μόνο σήμα το οποίο η συσκευή μπορεί στη συνέχεια να μάθει, να αποθηκεύσει και να ερμηνεύσει.

Στη μελέτη, οι Κινέζοι επιστήμονες προσάρτησαν τον αισθητήρα στον καρπό ενός εθελοντή και ξεκίνησαν να διδάξουν τον αλγόριθμο μηχανικής μάθησης που συνδέεται με τον αισθητήρα να διαβάζει και να μεταφράζει διαφορετικές κινήσεις των δακτύλων και των χεριών και να τις συσχετίζει με διαφορετικές λέξεις και φράσεις.

«Οι διαφορετικές κινήσεις των δακτύλων και οι χειρονομίες παράγουν μοναδικές ακολουθίες ερεθισμάτων πίεσης, οι οποίες μπορούν να συλλεχθούν σε έναν σταθμό εργασίας μέσω Bluetooth», λένε οι ίδιοι στο Advanced Science News. Στη συνέχεια, οι χειρονομίες ταξινομούνται χάρη στο μοντέλο μηχανικής μάθησης που αποκωδικοποιεί και αναλύει αυτά τα σήματα. Αυτές οι χειρονομίες και ο ήχος εμφανίζονται στη συνέχεια στην εφαρμογή smartphone της ομάδας.

Η ομάδα πιστεύει ότι αυτή η νέα συσκευή μπορεί να ενσωματωθεί στο IoT και να εξυπηρετήσει εφαρμογές για την παρακολούθηση της υγείας, τις αλληλεπιδράσεις ανθρώπου-υπολογιστή και το metaverse. Ωστόσο, η τεχνολογία βρίσκεται ακόμα στα αρχικά στάδια και χρειάζεται βελτίωση πριν χρησιμοποιηθεί για καθημερινούς σκοπούς. Για παράδειγμα, αναμένονται περιβαλλοντικές διαταραχές σε πολύπλοκες εφαρμογές να δημιουργούν θόρυβο σήματος απόκρισης. Αυτό μπορεί να λυθεί μέσω επεξεργασίας ηλεκτρικού σήματος ή βελτιστοποίησης απόδοσης συσκευής. Ωστόσο το μέλλον των πολυτροπικών αισθητήρων φαίνεται λαμπρό και με την ανάπτυξή του πιθανότατα θα έρθουν περισσότερες εξελίξεις που θα αλλάξουν τη ζωή.