ТРАНСФОРМАЦІЯ ЦІЛЬОВОГО КЛАСУ ДЛЯ ЗАДАЧІ СЕГМЕНТАЦІЇ З ВИКОРИСТАННЯМ U-GAN - Ісаєнков, Я. О.; Мокін, О. Б. (Вісник Вінницького політехнічного інституту, 2024)
Наведено огляд сучасних генеративних змагальних моделей (ГЗМ) для аугментації даних з фокусом на дослідження створення зображень та відповідних до них сегментаційних масок. Це особливо корисно у випадках, коли даних недостатньо, вони важкодоступні, мають конфіденційний характер, або розмітка вимагає значних ресурсів. Робота спрямована на підвищення ефективності процесу аугментації міноритарного класу за рахунок перетворення зображення з іншого класу та створення сегментаційної маски. Запропоновано новий підхід до одночасної генерації зображення та сегментаційної маски з використанням генеративної змагальної мережі, де генератором виступає U-Net. Цей генератор приймає на вхід зображення одного класу та шум, який подається як додатковий канал зображення. Генератор намагається створити зображення іншого класу, мінімізуючи зміни в початковому зображенні та додаючи ознаки іншого, разом з сегментаційною маскою, нового класу. Дискримінатор же визначає, чи є пара картинка–маска реальною чи згенерованою. У моделі для збереження оригінального вигляду вхідного зображення з мінімальними змінами використовується алгоритм, який застосовує тільки ті зміни згенерованого зображення, що вказані створеною сегментаційною маскою. Це дозволяє отримати зображення з ознаками нового класу з мінімальними змінами. Апробацію запропонованого підходу виконано на наборі даних панорамних знімків зубів, на основі якого створено набір зображень окремих зубів, частина з яких з пломбами, а частина — без них. Експериментальний набір даних включав 128 зубів без пломб і 128 з пломбами. Для створення ГЗМ взято всі зображення з пломбами та без пломб і навчено генератор перетворювати зображення без пломб в аналогічні з пломбами. Для перевірки ефективності аугментації проведено два експерименти по 50 симуляцій з різним випадковим станом для тренування сегментаційної моделі U-Net на основі ResNet-34. Перший експеримент використовував тільки реальні дані для тренування, а другий включав 64 додаткові зображення та відповідні маски, створені генератором на основі наявних зображень нульового класу. Середні значення коефіцієнта Жаккара серед всіх симуляцій для першого та другого експериментів відповідно склали 94,2 та 96,1. Це свідчить про те, що дані, згенеровані за допомогою запропонованої аугментації, дійсно сприяють підвищенню якості сегментаційної моделі та цей підхід можна комбінувати разом з іншими типами аугментацій.