Процесс обучения
Методической основой послужил апробированный ноутбук Дэвида Дейла по дообучению NLLB на языковую пару «русский — тувинский» — надёжный подход к добавлению нового низкоресурсного языка.
Внесённые адаптации: отключение смешанной точности fp16 (препятствовавшей сходимости), введение токена oturk_Latn с инициализацией от родственного языка, а также реализация двунаправленного сэмплера батчей по всем четырём направлениям перевода.
📉 Обучение заняло 11 508 шагов (≈2 ч 44 мин на GPU T4). Значение функции потерь снижалось равномерно:
▪️ шаг 0 → 4.87 ▪️ шаг 3 000 → 2.71 ▪️ шаг 6 000 → 2.03 ▪️ шаг 9 000 → 1.62 ▪️ шаг 11 508 → 1.28
Снижение более чем втрое при отсутствии деградации в повторяющиеся токены свидетельствует о корректности обучения.
Результаты (BLEU / chrF++)
▪️ древнетюркский → русский: 17.22 / 45.95 ▪️ древнетюркский → английский: 14.42 / 40.96 ▪️ английский → древнетюркский: 8.34 / 50.91 ▪️ русский → древнетюркский: 6.83 / 42.43
Перевод с древнетюркского языка демонстрирует более высокие показатели, чем перевод на него, что закономерно: генерация текста на языках, известных базовой модели, проще порождения самого древнетюркского.
Сочетание высокого chrF++ при умеренном BLEU указывает на корректное воспроизведение морфологии и корневых основ при неполном совпадении точных словоформ — типичная картина для агглютинативного языка.
Следует отметить, что англоязычные направления оценивались на малых выборках, ввиду чего соответствующие показатели носят ориентировочный характер.
Методической основой послужил апробированный ноутбук Дэвида Дейла по дообучению NLLB на языковую пару «русский — тувинский» — надёжный подход к добавлению нового низкоресурсного языка.
Внесённые адаптации: отключение смешанной точности fp16 (препятствовавшей сходимости), введение токена oturk_Latn с инициализацией от родственного языка, а также реализация двунаправленного сэмплера батчей по всем четырём направлениям перевода.
📉 Обучение заняло 11 508 шагов (≈2 ч 44 мин на GPU T4). Значение функции потерь снижалось равномерно:
▪️ шаг 0 → 4.87 ▪️ шаг 3 000 → 2.71 ▪️ шаг 6 000 → 2.03 ▪️ шаг 9 000 → 1.62 ▪️ шаг 11 508 → 1.28
Снижение более чем втрое при отсутствии деградации в повторяющиеся токены свидетельствует о корректности обучения.
Результаты (BLEU / chrF++)
▪️ древнетюркский → русский: 17.22 / 45.95 ▪️ древнетюркский → английский: 14.42 / 40.96 ▪️ английский → древнетюркский: 8.34 / 50.91 ▪️ русский → древнетюркский: 6.83 / 42.43
Перевод с древнетюркского языка демонстрирует более высокие показатели, чем перевод на него, что закономерно: генерация текста на языках, известных базовой модели, проще порождения самого древнетюркского.
Сочетание высокого chrF++ при умеренном BLEU указывает на корректное воспроизведение морфологии и корневых основ при неполном совпадении точных словоформ — типичная картина для агглютинативного языка.
Следует отметить, что англоязычные направления оценивались на малых выборках, ввиду чего соответствующие показатели носят ориентировочный характер.