Нейросеть научили рисовать мультики по тексту

Испытать программу решили на популярном мультсериале «Флинстоуны».

Американские ученые разработали алгоритм, который может превратить любой текст в короткий анимационный ролик. Испытать программу решили на популярном мультсериале «Флинстоуны».

Программу, в основе которой находится нейросеть, назвали CRAFT (Composition, Retrieval and Fusion Network). Ее цель — преобразовать текст в картинку, опираясь на заранее известный шаблон.

Например, нейросеть знает как выглядит место (кухня, спальня, двор), какие герои есть в мультфильме, и какие действия они могут выполнять. Анализируя текст, алгоритм составляет полную картину происходящего и накладывает анимацию.

Разработчики обучали нейросеть на 25 000 роликов из мультсериала «Флинстоуны», чтобы отделить все диалоги, действия и героев. В итоге у нейросети появилась целая библиотека текстов, фонов и действий, из чего могут получиться новые уникальные сюжеты.

Конечно, не все созданные алгоритмом ролики получаются логичными, но ученые работают над этим. Система обработки информации еще не до конца доработана, поэтому иногда нейросеть ошибается с выбором места или путает действия героев.

Качество роликов тоже оставляет желать лучшего, но нужно с чего-то начинать, считают американские разработчики.

По материалам: ridus
Добавить комментарий
Ваше Имя:
Ваш E-Mail:
Введите два слова, показанных на изображении: *