Egy új cikkben, a Point-E: A rendszer 3D pontfelhők létrehozására összetett jelekből, az OpenAI kutatócsoport bemutatja a Point E-t, egy 3D pontfelhő-szöveg feltételes szintézis rendszert, amely diffúziós modelleket használ összetett szöveg által vezérelt változatos és összetett 3D alakzatok létrehozására. jelzéseket.percek alatt egyetlen GPU-n.
A mai korszerű képgeneráló modellek elképesztő teljesítménye ösztönözte a 3D-s szövegobjektumok generálásával kapcsolatos kutatásokat.A 2D modellekkel ellentétben azonban, amelyek percek vagy akár másodpercek alatt is képesek a kimenetet generálni, az objektumgeneráló modellek általában több órányi GPU-munkát igényelnek egyetlen minta előállításához.
Egy új cikkben, a Point-E: A rendszer 3D pontfelhők létrehozására összetett jelekből, az OpenAI kutatócsoport bemutatja a Point·E-t, a 3D pontfelhők szöveges feltételes szintézisét.Ez az új megközelítés egy terjedési modellt használ, hogy változatos és összetett 3D alakzatokat hozzon létre összetett szövegjelekből egyetlen GPU-n mindössze egy-két perc alatt.
A csapat a szöveg 3D-vé alakításának kihívására összpontosít, ami kritikus fontosságú a 3D-s tartalomalkotás demokratizálásához valós alkalmazásokhoz, a virtuális valóságtól és a játékoktól az ipari formatervezésig.A szöveg 3D-ssé konvertálására szolgáló meglévő módszerek két kategóriába sorolhatók, amelyek mindegyikének megvannak a maga hátrányai: 1) a generatív modellek hatékonyan használhatók minták előállítására, de nem skálázhatók hatékonyan változatos és összetett szövegjelekhez;2) egy előre betanított szöveg-kép modell az összetett és változatos szöveges jelzések kezelésére, de ez a megközelítés számításigényes, és a modell könnyen elakadhat olyan helyi minimumokban, amelyek nem felelnek meg értelmes vagy koherens 3D objektumoknak.
Ezért a csapat egy olyan alternatív megközelítést vizsgált meg, amely a fenti két megközelítés erősségeit ötvözi, egy szöveg-kép diffúziós modellt használva, amelyet szöveg-kép párok nagy halmazán képeztek ki (lehetővé téve, hogy változatos és összetett jeleket kezeljen), és egy 3D-s kép diffúziós modell, amelyet egy kisebb szöveg-kép párhalmazra tanítottak.kép-3D pár adatkészlet.A szöveg-kép modell először mintát vesz a bemeneti képből, hogy egyetlen szintetikus reprezentációt hozzon létre, a kép-3D modell pedig egy 3D-s pontfelhőt hoz létre a kiválasztott kép alapján.
A parancs generatív verem a közelmúltban javasolt generatív keretrendszereken alapul képek feltételes szövegből történő előállításához (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Szöveg-kép átalakítási modellként egy 3 milliárd GLIDE-paraméteres GLIDE-modellt használnak (Nichol et al., 2021), amelyet renderelt 3D-s modelleken finomítottak, valamint egy olyan diffúziós modellt, amely RGB pontfelhőket generál. transzformációs modell.képekről képre.3D modellek.
Míg a korábbi munkák 3D architektúrákat használtak a pontfelhők feldolgozására, addig a kutatók egy egyszerű jelátalakító alapú modellt (Vaswani et al., 2017) használtak a hatékonyság javítására.A diffúziós modell architektúrájában a pontfelhő képeket először egy előre betanított ViT-L/14 CLIP modellbe táplálják be, majd a kimeneti hálókat markerként a konverterbe táplálják.
Empirikus tanulmányukban a csapat összehasonlította a javasolt Point·E módszert más generatív 3D-s modellekkel a COCO objektumészlelési, szegmentációs és aláírási adatkészletekből származó jelek pontozására.Az eredmények megerősítik, hogy a Point·E képes változatos és összetett 3D alakzatokat generálni összetett szövegjelekből, és egy-két nagyságrenddel felgyorsítja a következtetési időt.A csapat reméli, hogy munkájuk további kutatásokat inspirál a 3D-s szövegszintézissel kapcsolatban.
Egy előre betanított pontfelhő terjedési modell és kiértékelő kód elérhető a projekt GitHubon.Document Point-E: Az arXiv-en található egy rendszer 3D pontfelhők létrehozására összetett nyomokból.
Tudjuk, hogy nem akar lemaradni egyetlen hírről vagy tudományos felfedezésről sem.Iratkozzon fel népszerű Synced Global AI Weekly hírlevelünkre, hogy heti AI frissítéseket kapjon.
Feladás időpontja: 2022. december 28