Zrozumienie, w jaki sposób ludzie podejmują decyzje w złożonych zadaniach, stało się znacznie wyraźniejsze dzięki nowemu podejściu, które łączy sygnały mózgu i informacje o obrazie. Te innowacyjne badania zostały niedawno opublikowane w czasopiśmie Scientific Reports. Badania zostały przeprowadzone przez Xuan-the Tran, doktorant pod współzawodnikiem profesora Chin-Tog Lin, profesora Nikhil Pal, profesor Tzyy-Ping Jung i dr Thomas, którzy są powiązani z instytucjami, w tym University of Technology Sydney, Indian Statistical Institute i University of California San Diego,
Naukowcy stworzyli ramy, które wykorzystują uczenie maszynowe, rodzaj sztucznej inteligencji, która uczy się wzorców z danych, w celu wspólnej analizy aktywności mózgu i szczegółów obrazu, umożliwiając prognozy tego, czy dana osoba odpowie poprawnie w trudnym zadaniu. Metoda wykorzystała model segmentu cokolwiek (SAM) do identyfikacji i izolowania obiektów na obrazach. Wyodrębniał cechy zarówno charakterystyki obiektu docelowego, jak i relacji obiektów docelowych z sąsiednimi obiektami w celu zwiększenia dokładności prognozowania. Sygnały mózgowe są zbierane za pomocą elektroencefalogramu (EEG), który jest techniką nieinwazyjną. Funkcje wyodrębnione z danych EEG są następnie łączone z funkcjami obrazu w celu dalszej poprawy dokładności prognoz. „Ten postęp podkreśla, w jaki sposób łączenie informacji z mózgu i obrazów może poprawić nasze zrozumienie, w jaki sposób ludzie podejmują decyzje” – wyjaśnił profesor Lin.
W badaniu uczestnicy zostali poproszeni o znalezienie zwierząt na zdjęciach. Zwierzęta te zostały zakamuflowane, aby utrudnić zadanie, symulując wyzwania podobne do sytuacji w świecie rzeczywistym. „W przeciwieństwie do innych badań, w których uczestnicy mogą zgadnąć przez przypadek, ta konfiguracja sprawiła, że zgadywanie znacznie utrudniło, zapewniając lepsze sprawdzenie tego, jak ludzie myślą i decydują”. Wyjaśnił dr Thomas Do. Naukowcy zarejestrowali aktywność elektryczną mózgu, mierzoną za pomocą elektroencefalografii, która rejestruje sygnały mózgu poprzez czujniki umieszczone na skórze głowy, i przeanalizowali ją obok cech obrazu, aby zobaczyć, jak oba wpłynęły na podejmowanie decyzji.
Wyniki pokazały, że połączenie danych mózgu i obrazu działa znacznie lepiej niż używanie jednego z nich. „Podczas testowania to połączone podejście osiągnęło znacznie wyższą dokładność w przewidywaniu prawidłowych decyzji w porównaniu z modelami, które opierały się tylko na jednym rodzaju danych”, powiedział główny autor Xuan-the Tran. Podkreśla to przewagę łączenia wielu źródeł informacji, aby lepiej zrozumieć ludzkie zachowania.
„Badanie to nie tylko pomaga przewidzieć dokładność decyzji, ale także zapewnia ramy projektowania systemów, które mogą ostrzec użytkowników o potencjalnych błędach przed ich wystąpieniem. Takie systemy mogą być niezbędne w krytycznych obszarach, takich jak opieka zdrowotna lub obrona, w których unikanie błędów może ratować życie ”-dodał profesor Nikhil Pal.
Jednym z kluczowych elementów tego sukcesu było dogłębne użycie funkcji obrazu. Wyodrębnione cechy zidentyfikowały relacje między obiektami na zdjęciach i zostały przekształcone w celu bezproblemowo z cechami neuronowymi EEG. „Sygnały mózgowe z regionów, o których wiadomo, że są zaangażowane w wykrywanie obiektów i podejmowanie decyzji, takie jak obszary potyliczne i ciemieniowe, które są odpowiedzialne za przetwarzanie informacji sensorycznych i podejmowanie decyzji odgrywały znaczącą rolę w wydajności modelu”, dodał profesor Tzyy-Ping Jung. Zespół stwierdził, że szkolenie swojego modelu danych od poszczególnych uczestników działało lepiej niż szkolenie go na połączonych danych od grup, pokazując, w jaki sposób podejmowanie decyzji może się różnić w zależności od osoby.
Zgromadzenie szczegółowej analizy aktywności mózgu i wyrafinowanej analizy obrazu, badania te otwierają ekscytujące możliwości opracowywania systemów, które mogą przewidzieć, jak dobrze ludzie będą wykonywać zadania w czasie rzeczywistym. Zespół planuje rozszerzyć swoje badania, wykorzystując więcej danych i udoskonalając swój model, co czyni go jeszcze bardziej praktycznym dla codziennych zastosowań.
Referencje dziennika
TRAN XT, DO T., PAL NR, JUNG TP, LIN CT „Multimodal Fusion za przewidywanie wyników decyzji człowieka”. Raporty naukowe, 2024. DOI: https://doi.org/10.1038/S41598-024-63651-2
O autorach
Chin-Heng Lin Wybitny profesor Chin-Tog Lin otrzymał licencjat z nauki z National Chiao-Tung University (NCTU) na Tajwanie w 1986 r., A także posiada tytuł magistra inżynierii elektrycznej na Purdue University w USA, otrzymał odpowiednio w 1989 i 1992 roku.
Obecnie jest wybitnym profesorem School of Computer Science i dyrektorem Centrum Centric AI (HAI) Human Centric AI (HAI) oraz współreżyserem Australian Artificial Intelligence Institute (AAII) na Wydziale Inżynierii i Technologii Informacyjnych na University of Technology Sydney, Australia. Jest także honorowym profesorem inżynierii elektrycznej i komputerowej w NCTU. Za swój wkład w biologicznie inspirowane systemy informacyjne, prof. Lin otrzymał stypendium w IEEE w 2005 r. Oraz z Międzynarodowym Stowarzyszeniem Systemów Fuzzy (IFSA) w 2012 roku. Otrzymał nagrodę IEEE Fuzzy Systems Pioneer Award w 2017 roku. Otrzymał godne uwagi stanowiska jako Redaktor naczelny transakcji IEEE w systemach rozmytych od 2011 do 2016 r.; Miejsca na pokładzie gubernatorów Circuits and Systems (CAS) Society (2005-2008), IEEE Systems, Man, Cybernetics (SMC) Society (2003-2005), IEEE Computational Intelligence Society (2008-2010); Przewodniczący sekcji IEEE Taipei (2009-2010); Przewodniczący Komitetu ds. Nagród IEEE CIS (2022, 2023); Wybitne wykładowca z IEEE CAS Society (2003-2005) i CIS Society (2015-2017); Przewodniczący Komitetu Programu Distinguished CIS CIS CIS (2018-2019); Zastępca redaktora naczelnego transakcji IEEE dotyczących obwodów i systemów-II (2006-2008); Przewodniczący programu Międzynarodowej Konferencji IEEE na temat systemów, człowieka i cybernetyki (2005); oraz przewodniczący ogólny Międzynarodowej Konferencji IEEE na temat rozmytych systemów.
Profin jest współautorem neuronowych systemów rozmytych (Prentice-Hall) i autorem neuronowych systemów kontroli rozmycia o strukturze i uczeniu się parametrów (World Scientific). Jego 948 publikacji obejmują 3 książki; 28 rozdziałów książek; 485 Dokumenty z czasopism; oraz 432 recenzowane artykuły konferencyjne, w tym około 232 artykułów czasopism IEEE w obszarach sieci neuronowych, systemów rozmytych, interfejsu mózgowo-komputerowego, przetwarzania informacji multimedialnej, poznawczej inżynierii neuro-inżynierii i zespołu ludzkiego, które zostały cytowane ponad 40 0665 razy . Obecnie jego indeks H to 96, a jego indeks I10 to 464.
Nikhil R. Pal był profesorem jednostki nauk elektronicznych i komunikacyjnych i był założycielem Centrum Sztucznej Inteligencji i Uczenia maszynowego indyjskiego Instytutu Statystycznego. Jego obecne zainteresowanie badawcze obejmuje naukę mózgu, inteligencję obliczeniową, uczenie maszynowe i wydobycie danych.
Był redaktorem naczelnym Transakcji IEEE w systemach Fuzzy w okresie od stycznia 2005 r.-grudzień 2010 r. Służył/służył w Radzie redakcyjnej/Doradczej/Komitetach Kierowania Kilka czasopism, w tym International Journal of Callmate rozumowanie, zastosowane, zastosowane Soft Computing, International Journal of Neural Systems, Fuzzy Sets and Systems, Transakcje IEEE w systemach rozmytych i Transakcje IEEE w zakresie cybernetyki.
Jest laureatem nagrody Fuzzy Systems Systems Pioneer Award 2015 IEEE Computational Intelligence Society (CIS) FUZZY Systems Pioneer Award. Wygłosił wiele przemówień plenarnych/kluczowych na różnych międzynarodowych konferencjach międzynarodowych w dziedzinie wywiadu obliczeniowego. Pełnił funkcję przewodniczącego, przewodniczącego programu i przewodniczącego współpracy kilku konferencji. Był wybitnym wykładowcą IEEE CIS (2010-2012, 2016-2018, 2022-2024) i był członkiem komitetu administracyjnego IEEE CIS (2010-2012). Pełnił funkcję wiceprezesa ds. Publikacji IEEE CIS (2013-2016) i prezesa IEEE CIS (2018-2019).
Jest członkiem West Bengal Academy of Science and Technology, Institution of Electronics and Tele Communication Engineers, National Academy of Sciences-India, Indian National Academy of Engineering, Indian National Science Academy, International Fuzzy Systems Association (IFSA), World World Akademia Nauk i członek IEEE, USA.
Tzyy-Ping Jung (S’91-M’92-SM’06-F’15) otrzymał stopień BS w dziedzinie inżynierii elektronicznej na National Chiao Tung University, Hsinchu, Tajwan, w 1984 r. Oraz MS i Ph.D. Stopnie inżynierii elektrycznej na Ohio State University, Columbus, OH, USA, odpowiednio w 1989 i 1993 roku. Obecnie pełni funkcję współreżysera Centrum Zaawansowanej Inżynierii Neurologicznej i zastępcą dyrektora Swartz Center for Computational Neuroscience na University of California w San Diego. Ponadto jest adiunktem na Wydziale Bioinżynierii w UC San Diego. Dr Jung rozszerza swój wkład akademicki na arenie międzynarodowej, organizując profesory w Tianjin University i University of Science and Technology Pekin w Chinach, a także na National Tsing Hua University i National Yang Ming Chiao Tung University na Tajwanie.
Dr Jung był pionierem technik transformacyjnych stosowania niewidomego separacji źródeł w celu rozkładu danych wielokanałowych, MEG, ERP i FMRI. W uznaniu jego wkładu w niewidome źródłowe separację do zastosowań biomedycznych, został podniesiony do Fellow IEEE w 2015 r. Jest także członkiem Stowarzyszenia Sztucznej Inteligencji Azji i Pacyfiku (AAIA). Badania dr Junga podkreślają integrację nauk poznawczych, informatyki i inżynierii, neuronauki, bioinżynierii i inżynierii elektrycznej. Jego interdyscyplinarne prace są wysoko cenione i dobrze cytowane przez rówieśników, z ~ 47 000 cytatów i H-Index 92, według Google Scholar.
Thomas Do jest starszym wykładowcą i współreżyserem Centrum Interakcji Human-AI (HAI) na University of Technology Sydney (UTS). Dzięki doktoratowi z informatyki od UTS, mistrza interakcji z ludzki-komputer z Korei Instytutu Nauki i Technologii.
Jego badania koncentrują się na integracji sztucznej inteligencji (AI), interfejsach mózg-komputer (BCI), interakcja między człowiekiem-komputer i robotyka, ze szczególnym naciskiem na stosowanie technologii BCI do zastosowań wspomagających. Wizją Dr Do jest wypełnienie luki między inżynierią neuronową a praktycznymi, rzeczywistymi zastosowaniami poprzez opracowanie najnowocześniejszych systemów napędzanych AI, które przekładają sygnały mózgu na możliwe do przyjęcia wyjściowe.
