Данные для ИИ: наводим порядок в файлах до того, как за них возьмётся нейросеть

Данные для ИИ — это тексты, таблицы, аудиозаписи и другие материалы, которые нейросеть использует в работе. От их полноты и релевантности зависит результат: если информации не хватает или она не относится к задаче, нейронка может упустить важное или сделать неверные выводы. В статье расскажем, как выбрать и подготовить данные, чтобы она опиралась на нужную фактуру и меньше ошибалась.

Какие данные нужны для разных задач и где их искать

Всё зависит от того, что именно нужно сделать. Например, маркетолог готовит рекламу курса по дизайну. Сначала он анализирует прошлый запуск, чтобы понять, какие объявления стоит протестировать снова. Для этого передаёт нейросети таблицу, где для каждого варианта указаны расходы и количество оплат. ИИ рассчитывает стоимость лида и показывает, какие оферы привлекали учеников дешевле остальных.

Затем маркетолог решает, что сказать в новой рекламе. Он загружает переписки с потенциальными учениками и расшифровки звонков. Из них видно, что люди часто спрашивают о расписании: после работы они не всегда успевают к началу занятий. Чтобы проверить, можно ли снять это возражение, маркетолог добавляет информацию о формате курса. Нейросеть выясняет, какие занятия доступны в записи, и предлагает аргумент для объявления: «Лекции смотрите в удобное время, на практику приходите по четвергам».

Когда текст готов, маркетолог переходит к креативам. Для баннера он загружает проекты выпускников и просит ИИ выбрать работу, которую будет хорошо видно на экране смартфона. Для видеорекламы добавляет запись урока, где наставник разбирает задание ученика. Нейросеть находит момент с объяснением ошибки, а специалист проверяет, будет ли этот фрагмент понятен без контекста.

Откуда брать данные для своей задачи:

• В рабочих сервисах и документах компании. Начните с CRM, общих папок, архивов проектов, отчётов и других материалов, которые уже есть у команды. Например, данные о прошлом запуске курса могут храниться в отчёте маркетинга, а переписки с потенциальными учениками — в CRM.
• У коллег и в других отделах. Не все данные лежат в общих папках. Так, результаты опросов могут быть у исследователя, обращения учеников — у поддержки, а записи консультаций — у отдела продаж. Если информации не хватает, подумайте, у кого внутри компании она может быть.
• Во внешних источниках. Если внутренних данных всё же недостаточно, дополните их исследованиями, статистикой, отраслевыми отчётами или открытыми датасетами. Например, перед запуском нового курса школа может изучить спрос на дизайнеров и данные о востребованных навыках.

Перед использованием внешних материалов проверьте, кто и когда их собирал, подходят ли они для вашей задачи и можно ли передавать их выбранному ИИ-сервису. Если условия запрещают такую передачу, найдите другой источник или получите разрешение.

Как подготовить данные для ИИ: пошаговый план

Мы рекомендуем работать с копиями исходных файлов — в них можно удалять лишние записи, исправлять ошибки и менять структуру таблиц, не рискуя потерять оригиналы.

Шаг 1. Отберите подходящие материалы

Определите, за какой период нужны данные и каких клиентов, товаров или процессов они касаются. Допустим, онлайн-школа хочет выяснить, почему ученики бросают обучение. Для анализа понадобятся сведения о посещаемости, успеваемости и причинах отказа от занятий. Сколько стоила реклама и сколько учеников она привела, в этом случае неважно.

Составьте список тех, кто записался на курс, и выделите учеников, которые не закончили обучение. Не смешивайте их с другими потоками: программа и расписание могли отличаться. По каждому участнику соберите нужные сведения и, если она известна, причину ухода. При выгрузке из нескольких систем удалите дубли, чтобы нейросеть не учитывала одно событие несколько раз.

Шаг 2. Уберите конфиденциальную информацию

Просмотрите файлы и отметьте сведения, которые нельзя свободно передавать другим людям или сервисам. В переписках это могут быть имена, номера телефонов, адреса электронной почты и подробности, по которым можно идентифицировать человека. В договорах и внутренних отчётах — закрытые условия сотрудничества, финансовые показатели и другие материалы с ограниченным доступом.

Уточните, какие ИИ-сервисы одобрены в вашей компании. Затем выясните, что из отмеченного можно загружать в выбранный инструмент. Ограничения могут касаться как отдельных фрагментов, так и всего файла. О правовых рисках применения нейросетей рассказали в статье «Законопроект о регулировании ИИ: маркировка и риски для бизнеса».

В рабочей копии оставьте только нужные и разрешённые сведения. Например, при анализе жалоб можно заменить имена клиентов условными обозначениями, убрать телефоны, адреса и реквизиты, но сохранить содержание претензий. Проверьте, нельзя ли узнать человека по оставшимся подробностям. Если сомневаетесь, обсудите способ обезличивания со специалистом.

Шаг 3. Исправьте ошибки и приведите данные к единому формату

Проверьте, нет ли в материалах пропусков, опечаток и противоречий, которые могут повлиять на выводы ИИ. В таблицах обратите внимание на пустые ячейки и подозрительные цифры, в документах — на неверные даты и суммы, в переписках — на искажённые фразы. Сомнительные сведения сверьте с первоисточником: CRM, договором или записью разговора. Если нашли ошибку, исправьте её.

Не заменяйте неизвестные значения догадками. Недостающие сведения по возможности найдите в других источниках: например, стоимость привлечения клиента и расходы на маркетинг можно уточнить у финансового директора. Если получить информацию нельзя, оставьте поле пустым и добавьте пояснение. Так же поступайте с расшифровками звонков: если программа не распознала слова ученика, прослушайте фрагмент сами. Если разобрать речь не удалось, отметьте его как неразборчивый.

Затем приведите таблицы к единому виду. Используйте одинаковые названия столбцов и формат дат, проверьте единицы измерения. Например, перед объединением отчётов переведите суммы из тысяч рублей в рубли. Отдельные заказы и месячные итоги лучше хранить в разных вкладках.

В диалогах укажите, кому принадлежит каждая реплика, и сохраните их структуру разговора. Длинные документы разделите на смысловые части с заголовками. В расшифровках аудио и видео добавьте временные метки, чтобы нужный фрагмент можно было быстро найти в записи.

Шаг 4. Добавьте примеры, если нужно

Если нейросети важно показать, каким должен быть результат, добавьте несколько примеров. Это может быть правильная категория обращения, описание изображения или текст ответа клиенту. Проверьте, чтобы образцы не противоречили друг другу и правилам компании.

Предположим, вы хотите, чтобы ИИ распределял вопросы учеников по темам. Для этого можно показать несколько пар «сообщение — категория»:

• «Можно оплатить курс частями?» — «Оплата».
• «Когда начинается практика?» — «Расписание».

Такую работу называют разметкой данных, а получившуюся таблицу — размеченным набором. Он понадобится для дообучения модели.

Добавьте в инструкцию спорные случаи и попросите двух сотрудников разметить одинаковую выборку. Сравните результаты: если категории расходятся, уточните правила и повторите проверку. После согласования критериев обработайте оставшийся архив. ИИ можно использовать для предварительной разметки, но перед дообучением сотрудники должны проверить предложенные категории и исправить ошибки.

Шаг 5. Передайте данные в ИИ

Сделайте это одним из двух способов:

• Приложите к запросу. Подойдёт, если материалы нужны для разовой задачи. Например, перед новым запуском курса маркетолог может загрузить расшифровки звонков и попросить ИИ составить таблицу. Для каждой причины отказа в ней нужно указать число упоминаний и две характерные реплики.
• Соберите базу знаний. Пригодится, если ИИ будет регулярно обращаться к одним и тем же материалам. Например, помощнику онлайн-школы нужны программы курсов, расписание и условия оплаты. Когда ученик спрашивает, в какой день проходит практика, система находит ответ в расписании. Если занятие перенесли с четверга на вторник, достаточно обновить документ — и помощник будет использовать новые данные.

Как понять, правильно ИИ интерпретирует данные или нет

Сверьте факты с источниками. Допустим, маркетолог готовит воронку продаж для курса по психологии. В одном из постов ИИ пишет, что все занятия доступны в записи, хотя это относится только к лекциям. Такая неточность может создать у будущих учеников ложные ожидания и вызвать негатив. Поэтому важные утверждения в готовых текстах лучше сверять с программой курса и другими исходными материалами.

Посмотрите, что произойдёт, если данных не хватает. Попросите нейросеть назвать стоимость индивидуального занятия по материалам, где указаны цены только на групповые курсы. Она должна сообщить, что такой информации нет, а не придумывать сумму или подставлять тариф другого формата. Если ИИ отвечает неправильно, добавьте в инструкцию соответствующее ограничение. Например, поручите ему не придумывать недостающие сведения, а направлять такие вопросы менеджеру.

Разберитесь в причине ошибки. Например, помощник сообщает ученику, что практика проходит по четвергам, хотя занятия уже перенесли на вторник. Сначала убедитесь, что в базе знаний есть новое расписание. Если документ актуальный, а ответ не изменился, посмотрите, к каким источникам обращалась система. Если самостоятельно найти причину не получается, передайте задачу специалисту, который её настраивал.

После исправлений повторите задания, на которых ИИ ошибался, и добавьте несколько новых. Учитывайте не только количество ошибок, но и их последствия. Неудачную формулировку в объявлении можно исправить перед публикацией, а неверная стоимость курса или условия возврата могут привести к жалобам. Поэтому первое время работу помощника стоит контролировать особенно внимательно, а важные сведения вроде оплат — сверять с источниками.

Как работать с данными для ИИ: кратко

• Определите задачу и способ передачи данных. Для разового анализа приложите файлы к запросу, а если ИИ должен регулярно обращаться к одним и тем же материалам — соберите базу знаний. Дообучение стоит рассматривать, если модель повторяет одну и ту же ошибку даже после уточнения инструкции и приведения примеров.
• Подготовьте материалы. Уберите всё лишнее и сведения, которые нельзя передавать ИИ-сервису. Исправьте ошибки, устраните противоречия и приведите данные к единому формату. Сомнительные значения сверьте с первоисточниками.
• Проверьте результат. Дайте ИИ несколько заданий с заранее известными ответами, а затем усложните проверку. Если нейросеть ошибается, выясните причину: проблема может быть в исходных данных, инструкции или том, какую информацию использует система. После исправлений повторите тест на старых и новых заданиях.

Данные для ИИ: частые вопросы маркетологов

Как передать ИИ данные из разных папок, таблиц и чатов?

Если информации мало, а задача разовая — соберите копии нужных документов в отдельную папку и загрузите в чат. Если ИИ будет работать с этими сведениями регулярно, определите, где хранится актуальная версия каждого набора данных. Укажите, кто отвечает за обновление и проверку, а затем настройте передачу через коннектор или API.

Можно ли заменить реальные примеры синтетическими?

Частично. Синтетические данные — это искусственно созданные примеры, которыми можно дополнить набор для обучения. Например, по нескольким реальным просьбам о возврате можно составить другие варианты того же запроса. Если нужно понять, почему клиенты просят вернуть деньги, понадобятся реальные обращения.

Как выбрать подходящий датасет для ИИ?

Оцените соответствие материалов задаче, их актуальность и качество. Например, для прогноза продаж магазина нужны история заказов, цены, сведения об акциях и остатках товаров. Проверьте набор на ошибки и пропуски, уточните происхождение материалов и условия их коммерческого использования.

Чтобы загрузить переписки в ИИ, достаточно убрать имена клиентов и номера телефонов?

Сначала получите разрешение компании на работу с клиентскими переписками в выбранном сервисе. Проверьте, кто получит доступ к файлам, как долго сервис их хранит и на каких условиях использует для обучения моделей. Оставьте только фрагменты, нужные для задачи, и удалите сведения, по которым можно узнать клиента. Помимо имени и телефона, это могут быть адрес доставки, номер заказа или детали покупки.