OpenAI Point E: Tək GPU-da bir neçə dəqiqə ərzində mürəkkəb dalğa formalarından 3D nöqtə buludu yaradın

Yeni məqalədə Point-E: Mürəkkəb siqnallardan 3D nöqtə buludları yaratmaq üçün sistem, OpenAI tədqiqat qrupu mürəkkəb mətnlə idarə olunan müxtəlif və mürəkkəb 3D formaları yaratmaq üçün diffuziya modellərindən istifadə edən 3D nöqtə buludlu mətn şərti sintez sistemi olan Point E-ni təqdim edir. işarələr.bir GPU-da dəqiqələrdə.
Bugünkü ən müasir təsvir yaratma modellərinin heyrətamiz performansı 3D mətn obyektlərinin yaradılmasında araşdırmalara təkan verdi.Bununla belə, bir neçə dəqiqə və ya hətta saniyə ərzində çıxış yarada bilən 2D modellərdən fərqli olaraq, obyekt generativ modellər adətən bir nümunə yaratmaq üçün bir neçə saat GPU işi tələb edir.
Yeni məqalədə Point-E: Mürəkkəb siqnallardan 3D nöqtə buludları yaratmaq üçün sistem, OpenAI tədqiqat qrupu 3D nöqtə buludları üçün mətn şərti sintez sistemi olan Point·E-ni təqdim edir.Bu yeni yanaşma tək GPU-da cəmi bir və ya iki dəqiqə ərzində mürəkkəb mətn siqnallarından müxtəlif və mürəkkəb 3D formalar yaratmaq üçün yayılma modelindən istifadə edir.
Komanda virtual reallıqdan və oyundan tutmuş sənaye dizaynına qədər real dünya tətbiqləri üçün 3D məzmun yaradılmasının demokratikləşdirilməsi üçün vacib olan mətnin 3D-yə çevrilməsi probleminə diqqət yetirir.Mətni 3D formatına çevirmək üçün mövcud üsullar iki kateqoriyaya bölünür, onların hər birinin öz çatışmazlıqları var: 1) generativ modellər nümunələri səmərəli şəkildə yaratmaq üçün istifadə edilə bilər, lakin müxtəlif və mürəkkəb mətn siqnalları üçün səmərəli şəkildə miqyaslaya bilmir;2) mürəkkəb və müxtəlif mətn işarələrini idarə etmək üçün əvvəlcədən hazırlanmış mətn-şəkil modeli, lakin bu yanaşma hesablama baxımından intensivdir və model mənalı və ya əlaqəli 3D obyektlərə uyğun gəlməyən yerli minimumlarda asanlıqla ilişib qala bilər.
Buna görə də komanda, mətn-şəkil cütlərinin böyük dəsti üzərində təlim keçmiş mətndən-şəklə yayılması modelindən (müxtəlif və mürəkkəb siqnalları idarə etməyə imkan verən) istifadə edərək, yuxarıda göstərilən iki yanaşmanın güclü tərəflərini birləşdirməyi hədəfləyən alternativ yanaşmanı araşdırdı. mətn-şəkil cütlərinin daha kiçik dəsti üzərində öyrədilmiş 3D təsvir diffuziya modeli.image-3D cüt verilənlər bazası.Mətn-şəklə modeli əvvəlcə vahid sintetik təqdimat yaratmaq üçün daxil edilmiş təsviri nümunələr götürür və təsvirdən 3D modeli seçilmiş təsvir əsasında 3D nöqtə buludunu yaradır.
Komandanın generativ yığını mətndən şərti olaraq şəkillər yaratmaq üçün təklif olunan generativ çərçivələrə əsaslanır (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Onlar 3 milyard GLIDE parametrləri olan GLIDE modelindən (Nichol et al., 2021) mətndən görüntüyə çevrilmə modeli kimi işlənmiş 3D modellərdə dəqiq tənzimlənmiş GLIDE modelindən və RGB nöqtə buludlarını yaradan bir sıra diffuziya modellərindən istifadə edirlər. transformasiya modeli.şəkilləri təsvirə.3D modellər.
Əvvəlki işlərdə nöqtə buludlarını emal etmək üçün 3D arxitekturasından istifadə edilsə də, tədqiqatçılar səmərəliliyi artırmaq üçün sadə çevirici əsaslı modeldən (Vaswani et al., 2017) istifadə ediblər.Onların diffuziya modeli arxitekturasında nöqtə bulud şəkilləri əvvəlcə əvvəlcədən öyrədilmiş ViT-L/14 CLIP modelinə verilir və sonra çıxış şəbəkələri markerlər kimi çeviriciyə verilir.
Təcrübəli tədqiqatda komanda təklif olunan Point·E metodunu COCO obyektinin aşkarlanması, seqmentləşdirmə və imza verilənlər dəstlərindən əldə edilən siqnalların hesablanması üzrə digər generativ 3D modelləri ilə müqayisə etdi.Nəticələr təsdiq edir ki, Point·E mürəkkəb mətn siqnallarından müxtəlif və mürəkkəb 3D formalar yarada bilir və nəticə çıxarma müddətini bir-iki böyüklük dərəcəsi ilə sürətləndirir.Komanda ümid edir ki, onların işləri 3D mətn sintezi ilə bağlı gələcək tədqiqatlara ilham verəcək.
Əvvəlcədən hazırlanmış nöqtə buludunun yayılması modeli və qiymətləndirmə kodu layihənin GitHub-da mövcuddur.Document Point-E: Mürəkkəb ipuçlarından 3D nöqtə buludları yaratmaq üçün sistem arXiv-dədir.
Biz bilirik ki, siz heç bir xəbəri və ya elmi kəşfi qaçırmaq istəmirsiniz.Həftəlik AI yeniləmələrini almaq üçün məşhur Synced Global AI Weekly bülletenimizə abunə olun.