Większość zbiorów danych szkoleniowych wykorzystywanych do opracowywania systemów samochodów autonomicznych koncentruje się zwykle na przedmiotach codziennego użytku, takich jak zwykłe samochody, spacerujący ludzie i rowery. Jednak to powszechne podejście często pomija ważne, ale rzadziej widywane pojazdy, takie jak karetki pogotowia i samochody policyjne. Celem nowo opublikowanego, wygenerowanego komputerowo zbioru danych o nazwie EMS3D-KITTI jest wypełnienie tej luki. Oferuje dobrze wyważony zbiór scen obejmujących pojazdy medyczne. Zbiór danych został stworzony przez naukowców pod kierownictwem dr Chandry Jaiswal z Stanowego Uniwersytetu Rolniczo-Technicznego Północnej Karoliny. Ich prace publikowane są w czasopiśmie Dane w skrócie.

Do zbudowania tego zbioru danych zespół dr Jaiswala wykorzystał wirtualną platformę jazdy o nazwie Car Learning to Act, realistyczne środowisko symulacyjne wykorzystywane do szkolenia i testowania systemów autonomicznego prowadzenia. Narzędzie to pozwoliło im symulować realistyczne sytuacje drogowe, w tym karetki pogotowia i radiowozy, a także innych użytkowników dróg. Wyposażyli kilka cyfrowych pojazdów testowych w kamery i czujniki laserowe, znane jako wykrywanie i określanie odległości światła lub LiDAR, które mierzą odległość za pomocą światła w celu tworzenia szczegółowych map 3D otoczenia. Pojazdy te nagrywały sceny w różnych układach miast. Te wirtualne miasta uwzględniały różnorodne warunki, takie jak zmienna pogoda i nieprzewidywalne ruchy pojazdów, aby jak najdokładniej odzwierciedlać jazdę w rzeczywistych warunkach. Wszystkie przechwycone dane zostały następnie zorganizowane przy użyciu powszechnie akceptowanego formatu zaprojektowanego przez Instytut Technologii w Karlsruhe i Instytut Technologiczny Toyoty, który jest standardową strukturą stosowaną w dziedzinie badań pojazdów autonomicznych do przechowywania i przetwarzania danych wizualnych i przestrzennych.

Stosując tę ​​starannie zaplanowaną metodę, zespół zarejestrował na drodze wiele różnych typów obiektów. Pojazdy ratownictwa medycznego stanowiły około jednej czwartej całości, co stanowi znacznie większy odsetek niż w większości istniejących zbiorów danych. „Ten zbiór danych wypełnia znaczącą lukę w większości publicznie dostępnych zbiorów danych z zakresu wizji komputerowej, przezwyciężając wyzwanie, jakim jest ograniczona ilość danych w przypadku rzadkich obiektów” – wyjaśnił dr Jaiswal.

Wirtualne ambulanse i radiowozy zostały rozmieszczone losowo w różnych częściach symulowanych miast. Taka konfiguracja umożliwiła wyposażonym w kamerę pojazdom testowym, często nazywanym pojazdami ego, czyli głównym pojazdem, z którego przechwytywane są dane, natknięcie się na nie pod wieloma kątami i w różnych sytuacjach. Zespół zadbał również o to, aby obrazy przechowywane w zbiorze danych były zróżnicowane, zapisując tylko wybrane klatki. Dzięki temu zbiór danych pokazywał szeroki zakres scenariuszy jazdy. „Aby osiągnąć zrównoważoną obecność pojazdów ratownictwa medycznego w zbiorze danych, wdrożyliśmy strategię w ramach Car Learning to Act, która zwiększyła częstotliwość pojazdów ratownictwa medycznego w każdym scenariuszu” – powiedział dr Jaiswal.

Format zastosowany do organizacji tego zbioru danych ułatwia badaczom pracę. Każda zarejestrowana klatka zawiera kolorowy obraz, laserową mapę głębi zwaną chmurą punktów, która pokazuje dokładne położenie powierzchni w przestrzeni trójwymiarowej, plik pokazujący ustawienia kamery zwany plikiem kalibracyjnym oraz listę wykrytych obiektów wraz z ich rozmiarem, lokalizacją i kierunkiem. Dane te pomagają szkolić systemy komputerowe w zakresie dokładnego rozpoznawania i śledzenia różnych typów pojazdów i osób na drodze. Uwzględnione są także kluczowe cechy, takie jak stopień widoczności lub zablokowania obiektu, co nazywa się obcięciem i okluzją, oraz kierunek, w którym jest zwrócony, zwany kątami orientacji.

Aby przetestować jakość swojego zbioru danych, badacze przeprowadzili symulacje w wielu różnych wirtualnych miastach. Miasta te reprezentowały mieszankę środowisk, od cichych obszarów wiejskich po ruchliwe ulice miast. Ta różnorodność pomaga zapewnić, że dane odzwierciedlają wiele typów dróg w świecie rzeczywistym. Efektem końcowym jest bogate narzędzie szkoleniowe, które pomaga poprawić skuteczność systemów autonomicznych w różnych warunkach.

Interesującą częścią zbioru danych jest sposób, w jaki określa kierunek, z którego widzi się każdy pojazd uprzywilejowany — czy to z przodu, z boku czy z tyłu. Daje to modelom komputerowym większe doświadczenie w rozpoznawaniu pojazdów z wielu punktów widzenia, dzięki czemu systemy lepiej je wykrywają w różnych warunkach ruchu drogowego. Średnio w każdej nagranej scenie regularnie pojawiały się pojazdy uprzywilejowane, dając modelom większe szanse na uczenie się od nich.

Mimo że zbiór danych opiera się na symulacjach, twórcom zależało na tym, aby był on jak najbardziej realistyczny. Podkreślają również, że korzystanie z danych wirtualnych ma pewne ograniczenia, szczególnie w porównaniu z obrazami świata rzeczywistego. Aby rozwiązać ten problem, zalecają dalsze testy w celu potwierdzenia, że ​​modele przeszkolone na podstawie tego zbioru danych działają dobrze w rzeczywistym ruchu. Mimo to zbiór danych stanowi krok naprzód, jeśli chodzi o pomoc zautomatyzowanym systemom jazdy w lepszej identyfikacji pojazdów uprzywilejowanych i reagowaniu na nie, co jest niezbędne dla bezpiecznej i skutecznej nawigacji drogowej.

Podsumowując, zbiór danych EMS3D-KITTI dodaje coś ważnego do obecnie dostępnych narzędzi do szkolenia samochodów autonomicznych. Koncentrując się na rozpoznawaniu pojazdów uprzywilejowanych, wspiera rozwój inteligentniejszych i bardziej responsywnych systemów. W miarę dalszych prac nad rozwojem zautomatyzowanej jazdy zasoby takie jak ten zbiór danych staną się jeszcze cenniejsze.

Odniesienie do czasopisma

Jaiswal C., Acquaah S., Nenebi C., AlHmoud I., Islam AKM, Gokaraju B., „EMS3D-KITTI: syntetyczny zestaw danych 3D w formacie KITTI z sprawiedliwą dystrybucją pojazdów służb ratownictwa medycznego do szkolenia w zakresie modeli sztucznej inteligencji z napędem automatycznym”. Dane w skrócie, 2025. DOI: https://doi.org/10.1016/j.dib.2024.111221

O autorze

Doktor Chandra Jaiswal posiada tytuł licencjata w dziedzinie informatyki i inżynierii, tytuł MBA oraz tytuł doktora w dziedzinie sztucznej inteligencji i nauki o danych uzyskany na Państwowym Uniwersytecie Rolniczo-Technicznym Północnej Karoliny w Greensboro, USA. Posiada ponad 18-letnie doświadczenie w zarządzaniu łańcuchem dostaw i jest doświadczonym analitykiem systemów dystrybucji, który specjalizuje się w integrowaniu zaawansowanych technologii, takich jak sztuczna inteligencja, wizja komputerowa i robotyka, w celu optymalizacji operacji w łańcuchu dostaw. Jego wkład w robotykę wniósł także znaczną wartość dodaną do systemów autonomicznej, rzeczywistości rozszerzonej (AR) i rzeczywistości wirtualnej (VR), pokazując jego zdolność do łączenia najnowocześniejszych innowacji z praktycznymi zastosowaniami. Przywództwo i wiedza specjalistyczna Chandry zmodernizowały procesy łańcucha dostaw, zwiększyły efektywność operacyjną i uczyniły go innowatorem myślącym przyszłościowo w łańcuchu dostaw i systemach autonomicznych.