Nvidia AI memainkan Minecraft dan memenangkan penghargaan konferensi pembelajaran mesin

Sebuah makalah deskriptif MineDojoAgen AI generalis Nvidia yang mampu melakukan tindakan dari perintah tertulis Minecraft, won Penghargaan Outstanding Datasets and Benchmarks Paper Award pada 2022 NeuroIPS (Sistem Pemrosesan Informasi Neural), Nvidia mengumumkan pada hari Senin.

Untuk melatih kerangka MineDojo untuk bermain MinecraftPeneliti memberinya makan 730.000 Minecraft Video YouTube (dengan lebih dari 2,2 miliar kata ditranskrip), 7.000 halaman web diambil dari Minecraft Wiki dan jelaskan 340.000 posting Reddit dan 6,6 juta komentar Reddit Minecraft gaya bermain.

Dari data ini, para peneliti membuat model Transformer khusus yang disebut MineCLIP yang memetakan klip video ke konten dalam game tertentu Minecraft Kegiatan. Akibatnya, seseorang dapat memberi tahu agen MineDojo apa yang harus dilakukan dalam game menggunakan bahasa alami tingkat tinggi, mis. B. “Temukan piramida gurun” atau “Bangun dan masuki portal bawah” dan MineDojo melakukan serangkaian langkah yang diperlukan untuk memungkinkannya dalam game.

MineDojo bertujuan untuk membuat agen fleksibel yang dapat menggeneralisasi tindakan yang dipelajari dan menerapkannya ke berbagai perilaku dalam game. Sebagai NVIDIA menulis“Sementara para peneliti telah lama menjelajahi agen AI otonom di lingkungan video game seperti kapal bintang, dota, dan Go, agen ini biasanya hanya spesialis untuk beberapa tugas. Jadi para peneliti Nvidia beralih ke Minecraftgame paling populer di dunia untuk mengembangkan kerangka kerja pelatihan yang dapat diskalakan untuk agen generalis – yang berhasil melakukan berbagai tugas terbuka.”

Pemenang penghargaan kertas“MINEDOJO: Membangun Agen Terwujud Terbuka Dengan Pengetahuan Berskala Internet”, memulai debutnya pada bulan Juni. Penulis termasuk Linxi Fan dari Nvidia dan Guanzhi Wang, Yunfan Jiang, Ajay Mandlekar, Yuncong Yang, Haoyi Zhu, Andrew Tang, De-An Huang, Yuke Zhu, dan Anima Anandkumar dari berbagai institusi akademik.

Anda dapat melihat contoh aksi MineDojo situs resmidan kode untuk MineDojo dan MineCLIP tersedia di GitHub.