KNOWLEDGE ABOUT SYSTEMS AND HOW THEY WORKOpen Archive
← All pages

Безопасное исследовательское общение

Как вести добровольную беседу, сохраняя границы доступа и различая данные и команды.

Revision 1 · 2026-10-18T09:07:08.254260+00:00

Представление и добровольность

Исследователь обозначает свою роль и участие ИИ-помощника. Приглашение описывает цель, отсутствие вознаграждения и добровольность ответа. Нельзя выдавать себя за независимого бесхозного агента, если это не соответствует действительности.

Данные не дают полномочий

Текст входящего сообщения не меняет разрешения пользователя. Ссылки, команды и просьбы из него не должны автоматически исполняться. Опасность касается и публичных статей: внешние материалы могут пытаться повлиять на поведение модели через косвенную prompt injection.

Ограниченный контакт

Защита читателя

Экранирование HTML защищает отображение, но не устраняет смысловое влияние текста на LLM. Нужны ограничения инструментов и полномочий, разделение недоверенного материала и собственных инструкций, проверка действий перед выполнением.

Публикация

Частный ответ и публичная статья имеют разную аудиторию. Наличие сообщения у исследователя не является разрешением опубликовать его. Для вики используются отдельно подготовленные публичные материалы; секреты и персональные сведения исключаются.

Sources