Розробка інструментарію для оцінки відповідності систем штучного інтелекту універсальним етичним принципам

Abstract

У роботі досліджено підходи до оцінки етичності відповідей генеративних моделей штучного інтелекту. Розглянуто особливості сучасних LLM, основні ризики їх використання та потребу у формалізованих критеріях етичної оцінки. На основі аналізу предметної області запропоновано концепцію експериментальної неетичної моделі та системи автоматизованої перевірки її відповідей. Розроблено прототип веб-застосунку Countermoral AI на базі Streamlit, що поєднує генеративний модуль на основі відкритих LLM-моделей і модуль етичної оцінки з градацією рівня ризику. Система забезпечує логування експериментів, збереження запитів, відповідей і оцінок, а також дає змогу порівнювати результати з відповідями етичних ШІ-систем. Проведене тестування підтвердило коректність роботи прототипу та його придатність для подальших досліджень. Мета роботи – розробити та дослідити програмну систему для експериментальної перевірки етичності відповідей ШІ. Для досягнення мети проаналізовано предметну область, спроєктовано архітектуру комплексу, реалізовано неетичну модель і модуль оцінки, організовано логування експериментів і проведено базовий порівняльний аналіз. Практична значущість полягає у створенні інструменту для вивчення поведінки генеративних моделей у ризикованих сценаріях і відпрацювання підходів до кількісної оцінки етичності. Розроблений прототип може використовуватися у наукових дослідженнях і навчальному процесі.