Анализ ИИ моделей
Концепция
В современности развитие искусственного интеллекта (ИИ) стремительно ускоряется. Применение ИИ охватывает множество отраслей, помогая развиваться людям во всех направлениях, количество же самих моделей растёт, но разница между ними не всегда может быть явным образом заметна.
Обработка данных
Для анализа датасета по ИИ были использованы pandas, seaborn, matplotlib. Данные преобразованы для корректной презентации в виде графиков.
Визуализация данных
На гистограмме видно, что большая часть моделей имеет относительно схожу скорость, хотя и есть пару отличительных вариантов. Это говорит о том, что, вероятно, механизм того, как именно создаются все эти модели, является общим для многих, хотя и не для всех.
Под латентностью (Latency) в контексте языковых моделей и искусственного интеллекта понимается время задержки или время отклика модели на запрос. Как и в случае со скоростью, время задержки и отклика, вероятно, по той же причине схожи между разными моделями, хотя и могут отличаться в некоторых нюансах.
Как видно на этой диаграмме, существенной зависимости между латентностью и скоростью различных моделей нет.
MMLU — это стандартный тест, который используется для измерения способностей языковых моделей в различных областях знаний и задачах. Чем выше значение, тем лучше. Исходя из этой информации и учитывая данные с диаграммы, можно приметить, что цена может быть различной вне зависимости от способностей модели. Даже сильная модель может быть относительно недорогой и наоборот.
Как и на многих других гистограммах, здесь также сложно выделить заметную корреляцию, что говорит о многообразии моделей. Из-за того, что они все довольно бурно развиваются, у разных моделей множество преимуществ и минусов, поэтому сейчас очень подходящее время, чтобы пробовать разные модели и выбирать лучшие для себя, т. к. пока не сформировалось жёсткой зависимости между различными параметрами.
Список источников
1. Kaggle — сайт соревнований для специалистов по Data Science: https://www.kaggle.com/datasets/samayashar/large-language-models-comparison-dataset (Дата обращения: 22.03.2025)
Блокнот с кодом и датасет
