Последний год я уделяю тестированию нейросетей очень много времени. Не потому что это модно, а потому что от выбора модели зависит результат. Одна модель хорошо пишет код, другая — тексты, третья генерирует картинки. Универсального решения нет. Есть подбор под задачу.
Ключевые выводы
- Сравнительный метод: одинаковые промпты на разных моделях, разные — на одной.
- Критерии: галлюцинации, скорость, качество кода, язык.
- Позитивные промпты работают лучше запретов.
- Нет «плохих» моделей — есть неподходящие под задачу.
Сравнительный подход
Метод простой: одинаковые промпты на разных моделях. Разные промпты на одной модели. Сравниваю результаты — и вижу, где модель сильнее, а где слабее.
Например, для задачи «написать код на Python» я сравнивал DeepSeek, ChatGPT и Claude — и смотрел, какой код требует меньше правок. Для задачи «написать статью» — сравнивал на других моделях. Это не «тест на скорость», это тест на пригодность: справится ли модель с конкретной задачей.
Критерии оценки
Галлюцинации. Отслеживаю, когда модель выдаёт неточность. Смотрю причины: опечатки, «бред», неверная интерпретация запроса. Зависит от модели — некоторые ошибаются чаще, некоторые реже. Одна модель может уверенно «галлюцинировать» на длинных документах, а другая — нет. Это критично для аналитики.
Скорость. Не главный параметр. Разница в секундах или миллисекундах. Но зависит от модели: большая модель думает дольше, маленькая быстрее. Если нужно написать заголовок — маленькая справится за секунду. Если сложную задачу — большая подумает, но выдаст качественный результат.
Качество кода. Основная задача — программирование. Смотрю, компилируется ли код, работает ли логика, есть ли ошибки.
Язык. Большинство моделей хорошо работают с русским. Некоторые лучше генерируют картинки на английском.
Правило позитивных промптов
Один из главных выводов за год: модели не любят запретов. Вместо «не пиши так» — «напиши вот так». Позитивные формулировки работают лучше.
Почему? Потому что запрет — это тоже инструкция. Модель может «зациклиться» на том, что ей запретили, и выдать именно это. Позитивная формулировка даёт направление, а не ограничение.
Пример: не «не используй канцелярит», а «пиши простым языком, как для друга». Не «не пиши длинно», а «сократи до 100 слов». Это снижает риск галлюцинаций и улучшает результат.
Подбор модели под задачу
Нет «плохих» моделей. Есть модели, которые не подходят под конкретную задачу. Каждую нужно использовать под своё.
Одна модель хорошо справляется с кодом. Другая — с текстами. Третья — с анализом документов. Четвёртая — с картинками. Задача — не найти «лучшую», а найти «подходящую».
Что это даёт
Такой подход позволяет не гадать, а знать. Не «кажется, эта модель лучше», а «эта модель справляется с задачей X, а эта — нет». Это экономит время и снижает риск ошибок.
Именно поэтому в MobileSeek мы тестируем каждую новую функцию на разных людях, прежде чем запустить. Не потому что «так принято», а потому что иначе — сырой продукт.
Итог
Методология тестирования — это не «поиск лучшей модели», а «подбор под задачу». Сравнительный подход, позитивные промпты и проверка на разных людях дают предсказуемый результат.
Часто задаваемые вопросы
Какую модель выбрать для кода?
Зависит от задачи. Сравнивайте на своих промптах — одна модель лучше справляется с Python, другая с JavaScript. Универсального ответа нет.
Почему запреты в промптах работают хуже?
Модель может зациклиться на запрете и выдать именно то, что вы просили не писать. Позитивная формулировка даёт направление, а не ограничение.
Нужно ли тестировать на разных людях?
Да. Это снижает риск ошибок и улучшает результат. В MobileSeek мы тестируем каждую новую функцию на разных людях, прежде чем запустить.