Positive Technologies выпустили открытый бенчмарк OMCBench для проверки моделей ИИ. Мы решили протестировать на нём наши модели Рекрипториума.
Бенчмарк содержит 400 вредоносных и чистых пакетов для Python (10 203 файла) и 400 вредоносных и чистых пакетов для JS (15 341 файл). Мы решили протестировать на нём наши модели для Python и JS. Результаты получились следующими:
Результаты также можно сравнить с другими решениями в открытой таблице бенчмарка — по ключевым метрикам наши модели демонстрируют более высокие показатели.
Наши модели ИИ для анализа Python и JS используют трансформеры, обученные нами на наших постоянно пополняемых датасетах, а также другие методы анализа. При этом для анализа не потребовался GPU — всё работает на обычном CPU.
