NVIDIA-ина одлука о отвореном коду Аудио2Фаце означава значајан корак за оне који креирају дигиталне ликове са природном експресивношћу. Овом мером компанија подстиче више студија и програмера да се интегришу Анимација лица и синхронизација усана генерисана вештачком интелигенцијом у видео играма, 3Д апликацијама и импресивним искуствима без уобичајених баријера приступа.
Издање покрива Audio2Face SDK, modeli регресија и дифузија у вашој верзији вКСНУМКС, И оквир за обуку да прилагоди понашање сопственим подацима. Циљ је убрзање коришћења Аватари засновани на вештачкој интелигенцији у секторима као што су видео игре, медији, забава и корисничка служба.
Шта је Audio2Face и зашто је важан?
Audio2Face трансформације говорни сигнали (фонеме, прозодију и емоционалне нијансе) у криве и анимиране податке који синхронизују усне и изразе са великом верношћу. Овај излаз се може користити у у реалном времену или у процесима онлине, од унапред снимљених кинематографских приказа до динамичких интеракција уживо унутар графичког програма.
За играча или гледаоца, резултат је веродостојнија експресивност, са ликовима који доследно реагују на тон и темпо звука, побољшавајући урањање у дијалошке сцене, Близине и услуге са виртуелним асистентима.
Доступни SDK-ови, шаблони и алати
Публикација укључује Audio2Face SDK, Модели регресија y радиодифузија вКСНУМКС, И окружење за обуку потребно је прилагодити технологију различитим стиловима лица и уређајима. Такође постоји званични додаци пар Аутодеск Маја (в2.0) y Unreal Engine 5 (v2.5), тако да је интеграција у професионалне цевоводе једноставна.
Поред тога, дистрибуирани су комплементарни модели као што су Аудио2Емоција, способан да закључи емоционална стања из звука, и пример скупова података да што пре почну са експериментисањем. За оне који траже више информација и ресурса, NVIDIA се позива на АЦЕ за игре, где је састављен скуп повезаних алата.
Интеграција у 3Д токове рада
У постојећим продукцијама, Додаци за Мају и Унреал Енџин 5 олакшавају мапирање Audio2Face излаза на уређаје за снимање лица и комбинују га са ручно израђеним слојевима анимације или системима за снимање. SDK омогућава аутоматизовати процесе, изградите интерне алате и повежите вештачку интелигенцију са уредници анимације или система принос уобичајено у студијама.
Технологија је оптимизовано да ради са високим перформансама на модерним графичким процесорима (као што је RTX серија), иако чињеница да је код отворен олакшава истраживање других конфигурација имплементације и прилагођена подешавања према потребама сваког пројекта.
Комплементарни модели и прилагођавање
Са оквир за обуку Једном објављени, технички тимови могу да усаврше моделе сопственим фонемским стаблом, лингвистичким правилима и гласовном разноликошћу или да циљају излаз на одређене стилове рига. Комбинација са Аудио2Емоција отвара врата експресивним нијансама које боље одражавају време и намера говорника.
За оне који тек почињу, узорак података омогућавају вам да потврдите аудио каналисање, тестирате синхронизацију усана и процените квалитет трансфер на платформе пре него што инвестирате у сопствени корпус за обуку.
Усвајање у индустрији
Audio2Face је већ интегрисан у алате и пројекте студије и добављачи у сектору. Међу наведеним именима су Codemasters, NetEase, Reallusion, Perfect World Games, GSC Games World, Convai, Inworld AI, Streamlabs и UneeQ Digital Humans, што је знак да је технологија сазрела у стварним условима.
- Реаллусион уграђен Audio2Face у иЦлоне y Цхарацтер Цреатор, комбинујући га са функцијама као што су луткарење лица y АккуЛип да фино подесите синхронизацију усана.
- СурвиосУ Alien: Rogue Incursion Evolved Edition, оптимизовао је своје цевовод анимација лица за подизање потапање у виртуелној реалности.
- Фарма КСНУМКС применио га у Чернобил 2: Зона искључења, достижући ниво од реализам бољи од оног у његовом првом издању.
Отворена заједница и сарадња
Са приступачним кодом, NVIDIA вас позива програмери, студенти и истраживачи да допринесу побољшањима, предложе нове функције и прилагоде решење специфичним случајевима употребе. Компанија такође подстиче учешће у Audio2Face Discord сервер, место састанка за размену напретка и решавање техничких питања.
Промена лиценце олакшава заједници експериментисање са хетерогени токови рада, из видео игара и ВТубинг до корпоративних виртуелних асистената, консолидовањем базе кода на којој се може брзо и брзо понављати провидност.
Отварањем Audio2Face-а, екосистем анимације лица вођене вештачком интелигенцијом добија значајан подстицај: више приступ, боље интеграције и распоред усвајања који, с обзиром на већ познате случајеве, има дуг пут пред собом како у ААА продукције као у малим тимовима који траже квалитет без почетка од нуле.
