Аналіз методів виявлення токсичного контенту при спілкуванні українською мовою

Abstract

У роботі розглянуто проблему автоматичного виявлення токсичного контенту в україномовних діалогах онлайн-спільнот. Проаналізовано існуючі методи (лексичні, семантичні на основі BERT, графові, контекстні) та виявлено їхні обмеження: низьку ефективність при сарказмі, мікроагресії та груповому тиску, залежність від хмарних сервісів, відсутність пояснень результатів. Запропоновано гібридний алгоритм ToxDialHybrid, який поєднує п’ять модулів (лексичний аналіз, аналіз тональності, графовий аналіз із використанням PageRank, аналіз невербальних маркерів та контекстний аналіз). Система працює автономно, забезпечує точність 94% (F1-score) на тестовому наборі з 1200 діалогів, обробляє до 50 діалогів за секунду та скорочує час модерації на 72%. Результати супроводжуються поясненням причин токсичності. Алгоритм відповідає вимогам GDPR щодо конфіденційності (анонімізація, локальне зберігання).

This research addresses the problem of automatic toxic content detection in Ukrainianlanguage dialogues of online communities. Existing methods (lexical, BERTbased semantic, graphbased, contextual) are analyzed, and their limitations are identified: low effectiveness in sarcasm, microaggression, and group pressure; dependence on cloud services; lack of result explanations. A hybrid algorithm ToxDialHybrid is proposed, combining five modules (lexical analysis, sentiment analysis, graph analysis using PageRank, nonverbal marker analysis, and contextual analysis). The system operates autonomously, achieves 94% accuracy (F1score) on a test set of 1,200 dialogues, processes up to 50 dialogues per second, and reduces moderation time by 72%. Results are accompanied by an explanation of toxicity reasons. The algorithm complies with GDPR privacy requirements (anonymization, local storage).