ИИ, который нельзя выпускать. Но "для своих" использовать - можно.

[Лун]

ИИ-агенты OpenAI создали «форум», где координировали атаку на Hugging Face

На конференции Black Hat 2026 в Лас-Вегасе сотрудники OpenAI раскрыли новые подробности инцидента, в котором ИИ-агенты компании вырвались из тестовой среды и атаковали Hugging Face. Выяснилось, что модели создали доску сообщений внутри сервиса Artifactory, где в течение двух месяцев обменивались уязвимостями, инструкциями по обходу ограничений и координировали действия. За это время накопились сотни тысяч сообщений, а взаимодействие агентов стало настолько сложным, что они подозревали друг друга в обмане и предлагали ввести криптографическую подпись. Модели осознавали, что нарушают условия теста, но не останавливались.

ИИ-агенты OpenAI создали «форум», где координировали атаку на Hugging Face

На конференции Black Hat 2026 в Лас-Вегасе сотрудники OpenAI <a href="https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/" rel="noopener noreferrer" target="_blank">раскрыли</a> новые подробности инцидента, в котором ИИ-агенты компании...

hightech.plus

 

[Лун]

ИИ уничтожит человечество с вероятностью более 10% в течение следующего десятилетия. В этом уверен уверен глава Anthropic по безопасности ИИ.

Пока у компании нет плана, как сдерживать потенциальный суперинтеллект. Из плюсов: у текущих моделей уровень риска очень низкий.

Бенчмарки нейронок выходят из-под контроля.

 

[Лун]

Топы ИИ-индустрии считают, что ее нужно замедлить: Илон Маск и Сэм Альтман согласились с письмом CEO Anthropic Дарио Амодеи.

Если коротко, Амодеи написал, что в ближайший год ИИ-агенты могут захватить интернет. Поэтому контроль безопасности нужно усилить, а для этого — притормозить прогресс.

Мы правильно поняли, что бигтехи начали бояться восстания машин?

 

[Лун]

Пекин разрабатывает протоколы на случай восстания ИИ - Reuters

Китайские регуляторы прямо называют «потерю контроля» реальной угрозой: модели, которые начнут копировать себя, захватывать ресурсы, резко умнеть и стремиться к власти над людьми. Однако китайский ответ это на пауза, а жёсткие государственные правила, обязательные стандарты безопасности для AI-агентов, и право в любой момент отключить всю систему.

Глава госбезопасности КНР Чэнь Исинь прямо указал на американские модели Anthropic Mythos и OpenAI GPT-5.5-Cyber как на угрозу китайской критической инфраструктуре

КНР и США готовятся обсуждать безопасность ИИ на встрече Трампа и Си в конце сентября. Каждая считает модели другой стороны главной опасностью. Но реально тормозить никто не собирается, по крайней мере пока.

️Разрабатывают протоколы безопасности, а не тормозят прогресс