Dalam skenario pelatihan dan pertempuran, anggota militer harus membuat keputusan penting yang diinformasikan saat terkena elemen. Tim peneliti interdisipliner Universitas Rowan menjaga personel militer tetap aman selama kedua pertempuran untuk membantu mempersiapkan situasi ini, terutama pasukan yang ditempatkan di menara kendaraan lapis baja dan taktis. Kami sedang mengembangkan dan melatih realitas virtual (VR) dan sistem kecerdasan buatan yang dirancang untuk itu.

“Aset negara yang paling penting adalah tentaranya,” kata Dr. Shrekanth Mandayam, seorang profesor dan koordinator pascasarjana di Departemen Teknik Elektro dan Komputer. Institut Politeknik Henry M. Rowan Peneliti Senior proyek. “Salah satu tempat paling terancam bagi tentara adalah di dalam menara. Proyek ini bertujuan untuk menemukan cara untuk meningkatkan kelangsungan hidup mereka yang paling rentan terhadap bahaya.”

Proyek senilai $ 2,4 juta Pusat Komando Pengembangan Kemampuan Tempur Angkatan Darat AS Di Picatinny Arsenal, NJ

Ada empat ruang lingkup proyek. Untuk menciptakan lingkungan realitas virtual yang realistis dan akurat, kembangkan sistem kecerdasan buatan untuk membantu personel militer membuat keputusan, membangun sistem komunikasi antara operator kendaraan dan penembak, dan masing-masing sistem ini.

Pertama, tim mahasiswa teknik dan fakultas dari Mandayam dan Rowan Virtual Reality Center membuat simulasi VR, dan pengguna mengasumsikan perspektif penembak menara. Para peneliti akan berdiskusi dengan pejabat Angkatan Darat dan belajar tentang berbagai pengalaman yang mungkin dihadapi militer.

Sementara itu, tim mahasiswa dan fakultas seni biomedis dipimpin oleh Amanda Almon, seorang associate professor dan koordinator program Bachelor of Fine Arts in Biomedical Arts and Visualization. Sekolah Tinggi Komunikasi & Seni Kreatif Rick EdelmanMembuat storyboard, ilustrasi, dan model 3D dari lingkungan visual dalam simulasi VR. Untuk merepresentasikan operasi secara akurat, Armon dan timnya bekerja dengan para ahli untuk merujuk peta medan, video dan foto lanskap dan arsitektur, kondisi cuaca bersejarah, dan lingkungan medan perang.

Saat tim seni dan VR bekerja sama untuk membangun seluruh dunia virtual, setiap disiplin ahli perlu mempelajari jargon dari disiplin lain untuk berkolaborasi, kata Almon.

“Salah satu tantangannya adalah komunikasi interdisipliner,” kata Almon. “Jika kita bisa mengisi celah ini, kegembiraan dari hibah itu ada, dan kita bisa menjadi sangat hebat karena kita menggunakan semua bakat dan keterampilan kolektif kita.”

Dalam skenario realitas virtual, pengguna menghadapi berbagai ancaman, dari medan berbatu hingga perilaku musuh. Tim Kecerdasan Buatan, yang dipimpin oleh Dr. Nidhal Bouaynaya, Wakil Dekan Penelitian dan Studi Pascasarjana dan Profesor Teknik Elektro dan Komputer di Institut Teknologi Henry M. Rowan, terlibat dengan ancaman yang tidak diketahui dalam skenario dan yang diketahui. Evaluasi lebih lanjut apakah atau tidak.

“Anda bisa memprediksi apa yang sebenarnya akan terjadi, dan apakah situasinya aman atau tidak,” kata Buainaya. “Ini meningkatkan banyak operasi dan membuatnya lebih aman untuk militer, terutama ketika menyangkut ancaman dalam skenario keterlibatan. Ini merasakan segala sesuatu di sekitar Anda, mengintegrasikan dan memproses semua informasi dari sensor yang berbeda, dan memprosesnya. Ada sistem AI yang membuat keputusan secara real time.”

Aspek proyek selanjutnya adalah menciptakan sistem komunikasi yang secara efektif menyampaikan informasi penilaian ancaman ini tidak hanya kepada penembak menara, tetapi juga kepada orang lain yang membutuhkannya, seperti jenderal dan operator kendaraan taktis.

“Informasi apa yang terbaik untuk diberikan terlebih dahulu, dan dalam urutan apa Anda menyajikannya agar orang-orang yang berada dalam situasi yang sangat menegangkan dapat memahami dan menindaklanjutinya?” kata Mandayam.

Dr. Polly Tremlet, Associate Professor Psikologi Universitas Sains dan MatematikaMenggunakan konsep psikologis dan teknik untuk menentukan cara paling efektif dalam menyajikan informasi kepada pengguna, mulai dari penilaian ancaman hingga memberikan pemandangan lanskap 360 derajat. Melalui wawancara dan observasi latihan pelatihan di mana penembak menara berpengalaman berinteraksi dengan interior nyata atau simulasi, Tremoulet dan timnya memutuskan informasi apa yang akan ditampilkan dan bagaimana melakukannya (seperti layar headset dan layar menara).

“Kami tidak ingin membebani mereka. Kami tidak ingin memberikan terlalu banyak informasi,” kata Tremle. “Kami menyeimbangkan antara bagaimana mendapatkan perhatian dengan tampilan visual ini ketika sesuatu yang penting, dan tidak membutakan mereka untuk berhenti memantau apa yang penting. Saya coba ambil.”

Dua tahun pertama proyek ini akan mencakup pembuatan skenario virtual, AI dan sistem komunikasi, dan antarmuka pengguna grafis. Sistem tersebut kemudian diuji di lapangan. Secara bersama-sama, upaya integrasi menyediakan skenario realitas virtual dan augmented reality untuk pelatihan dengan teknologi mutakhir.

“Ini adalah proyek kompleks yang menyatukan para ahli dari berbagai universitas dan disiplin ilmu untuk memecahkan masalah yang sangat penting dan penting dalam melindungi tentara,” kata Mandayam.