Ученые создадут «красную кнопку», предназначенную для отключения искусственного интеллекта
6 июня 2016 года
Исследователи из Оксфордского университета и принадлежащей Google компании DeepMind приступили к разработке системы аварийного отключения самообучающихся алгоритмов.
"Если такой агент [искусственный интеллект] работает в режиме реального времени под наблюдением человека, то иногда может возникнуть ситуация, при которой оператор будет вынужден нажать на большую красную кнопку, чтобы остановить агента от выполнения действий, опасных для самого агента или его окружения", - приводит N+1 цитату из статьи, посвященной созданию аварийной системы.
Авторы исследования отмечают, что самообучающиеся алгоритмы в перспективе могут обнаружить способ обхода или игнорирования штатной стоп-команды оператора. Цель анонсированной работы состоит в том, чтобы создать фреймворк, который не позволит искусственному интеллекту найти способ игнорирования команды отключения.
Так называемая большая красная кнопка при необходимости должна будет гарантированно прервать текущую деятельность робота и максимально обезопасить его и окружающих при потенциально опасной ситуации. Еще одно предназначение кнопки заключается в предотвращении действий, которые могут привести к "необратимым последствиям".
Отметим, что возможный выход искусственного интеллекта из-под контроля не раз ложился в основу сюжетов фантастических книг и фильмов. Кроме того, вопросы безопасности, связанные с разработкой систем ИИ, поднимали известные ученые и предприниматели. Например, о потенциальной опасности ИИ предупреждали основатель компаний Tesla и SpaceX Элон Маск и известный физик-теоретик Стивен Хокинг.
Источники[править]
Любой участник может оформить статью: добавить иллюстрации, викифицировать, заполнить шаблоны и добавить категории.
Любой редактор может снять этот шаблон после оформления и проверки.
Комментарии[править]
Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.
Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.
Несколько советов по оформлению реплик:
- Новые темы начинайте, пожалуйста, снизу.
- Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
- Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
- Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.
Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.
