19:56
-19 C°
Пробки:   2
$
60.4797
62.8762

Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

28 июня 2019
2536
2 мин.
Microsoft научила нейросеть рисовать сложные сцены по текстовому описанию

Исследовательская группа Microsoft Research представила генеративно-состязательную нейросеть, которая способна генерировать изображения с несколькими объектами на основе текстового описания. В отличие от более ранних подобных алгоритмов text-to-image, способных воспроизводить изображения только базовых объектов, эта нейросеть может справляться со сложными описаниями более качественно.

Сложность создания подобного алгоритма заключалась в том, что, во-первых, ранее бот был не способен в хорошем качестве воссоздавать все базовые объекты по их описаниям, и, во-вторых, не мог проанализировать то, как несколько объектов могут относиться друг к другу в рамках одной композиции. К примеру, чтобы создать изображение по описанию «Женщина в шлеме сидит на лошади», нейросеть должна была семантически «понять», как каждый из объектов относится друг к другу. Эти проблемы удалось решить, обучив нейросеть на основе открытого дата-сета COCO, содержащего разметку и данные сегментации для более 1,5 млн объектов.

В основе алгоритма лежит объектно-ориентированная генеративно-состязательная нейросеть ObjGAN (Object-driven Attentive Generative Adversarial Newtorks). Она анализирует текст, выделяя из него слова-объекты, которые необходимо расположить на изображении. В отличие от обычной генеративно-состязательной сети, состоящей из одного генератора, который создает изображения, и одного дискриминатора, который оценивает качество сгенерированных изображений, ObjGAN содержит два различных дискриминатора. Один анализирует, насколько реалистичен каждый из воспроизведенных объектов и насколько он соответствует имеющемуся описанию. Второй определяет, насколько вся композиция реалистична и соотносится с текстом.

Предшественником алгоритма ObjGAN стал AttnGAN, также разработанный исследователями Microsoft. Он способен генерировать изображения объектов по более простым текстовым описаниям. Технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов.

Алгоритм ObjGAN находится в открытом доступе на GitHub.

Метки:

Обсуждение

Лучшие пресс-службы
ВТБ
Новостей: 884
Ингосстрах
Новостей: 618
ВТБ Лизинг
Новостей: 113
Почта России
Новостей: 100
Сбербанк
Новостей: 77
Ростелеком
Новостей: 69
Альфа-Капитал
Новостей: 66
Тулэнерго
Новостей: 62

ПРЕСС-РЕЛИЗЫ ЕКАТЕРИНБУРГА


Пресс-релизы ГлобалЕБУРГ.ру – это актуальные новости от екатеринбургских компаний.
На ресурсе регулярно публикуются официальные пресс-релизы компаний Екатеринбурга и Свердловской области. Узнать самые свежие новости предприятий можно в соответствующем разделе на главной странице. Размещение пресс-релизов — традиционный и действенный способ продвижения вашего бизнеса. Он позволяет организациям заявить о себе и своих товарах и услугах максимально широкой массе аудитории. При этом информационный повод может быть любым: привлечение людей на мероприятие или конференцию, освещение новых товаров или кадровые назначения. Если вы ставите цель привлечь внимание к своей информации, то ГлобалЕБУРГ.ру станет вашим надежным помощником в данном деле. Благодаря порталу ваш пресс-релиз увидят обозреватели ведущих интернет-изданий, клиенты и партнеры.
ГлобалЕБУРГ.ру дает возможности представителям компаний и организаций в Екатеринбурге и Свердловской области самостоятельно разместить пресс-релиз при регистрации на ресурсе. Самая главная особенность ГлобалЕБУРГ.ру в том, что все публикации екатеринбургских компаний попадают в архивы и будут доступны из поиска длительное время. Вам достаточно лишь добавить пресс-релиз в информационную ленту.
ГлобалЕБУРГ.ру предлагает своим клиентам абонементское обслуживание, которое позволяет компаниям регулярно публиковать пресс-релизы на выгодных условиях. Кроме того, бизнес портал дает возможность более полно рассказать о жизни компании благодаря добавлению фото и видеоматериалов, персон и цитат сотрудников. Все информационные материалы обладают активными ссылками и приведут потенциальных клиентов на ваш ресурс.
Потапова Алёна

Директор по развитию
Население
7996739818
Умерли за год
53670028
Родились за год
132037768