На смену трем знаменитым законам робототехники писателя—фантаста Айзека Азимова приходят новые.
Все мы хотим, чтобы машины всегда помогали нам, и никогда не становились врагами. Еще в 1942 году в рассказе «Хоровод» американский фантаст Айзек Азимов сформулировал законы, призванные предотвратить бунт роботов не допустить царства терминаторов.
Вот эти три закона:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Робот должен подчиняться приказам, отданным ему людьми, за исключением тех случаев, когда они противоречат первому закону.
- Робот должен защищать свое существование до тех пор, пока защита не вступает в противоречие с первым или вторым законом.
Эти пункты часто цитируются, при разговоре об искусственном интеллекте и будущем цивилизации. Работают ли они? Азимов не был ни робототехником, ни компьютерщиком, и уж, конечно, ничего не знал об искусственном интеллекте. По образованию он был биохимиком, но придавал гораздо больше значения своим литературным трудам, нежели регулярным университетским исследованиям и преподаванию.
Понятно, что самым главным для него как для писателя был сюжет. И вышеупомянутые законы робототехники тоже являлись рабами сюжетов. Фантаст не предполагал, что они будут закодированы в суперинтеллектуального робота или компьютерную программу, имитирующую агента искусственного интеллекта.
Роботы не знают языка людей
Как лаконично выразился робототехник и писатель Дэниел Уилсон: «Правила Азимова составлены очень четко и аккуратно, но по сути они – чепуха на постном масле. Для начала, они составлены они на английском языке. Как их можно запрограммировать?»
Да, все естественнонаучные законы были сформулированы простым человеческом языком и лишь позднее переведены на язык программирования и кодифицированы. Но если вы убеждены, что то же самое можно сделать и для законов Азимова, попробуйте придумать точные определения (и математические границы) ключевых понятие: «бездействие», «вред», «подчинение», «конфликт», «защита», «существование» …
Сами рассказы Азимова — доказательство того, что законы не работают
Большинство историй Азимова вращались вокруг темы: как роботы, следуя этому логичному и этически обоснованному кодексу чести, могут все же сбиться с пути, что приведет к катастрофическим последствиям для человечества.
В «Хороводе» отлично показано, как легко первые два закона вступают в конфликт, и третий закон просто необходим, чтобы все закончилось хорошо. Действие рассказа (другое название – «Вокруг да около») происходит в 2015 году. Робот Спиди получает приказ достать селен из озера на Меркурии — и пропадает. Когда люди обнаруживают его, робот без остановки движется вокруг озера и вдобавок говорит какую—то ерунду. Оказалось, второй и третий законы пришли в противоречие. Едва Спиди приближался к озеру, в атмосфере выделялись вещества, вредящие ему (третий закон). Но приказ выполнять надо (второй закон), поэтому от озера отойти нельзя.
Истинно научные законы – такие вывели Ньютон или Максвелл — ни при каких обстоятельствах не вступают в конфликт друг с другом. Они сами по себе должны приводить к четкому, однозначному, действенному решению.
Существует множество статей в интернете, обсуждающих прискорбную неадекватность этих законов для построения любого функционального суперинтеллектуального агента (аппарат или программу). Что же делается для решения этой проблемы?
ИИ и долгосрочные риски
Чаще всего, исследователи ИИ не задают эти вопросы. Зато праздная публика задается ими постоянно. Грозит ли человечеству бунт машин? И если да, то что мы можем с этим поделать? Конечно, можно верить в то, что если люди, наделенные разумом, рациональностью и моралью — ученые, инженеры, общественные деятели, политики — соберутся вместе, чтобы тщательно определить «цели» разумной системы, то она не может пойти неверным путем. Ведь целевая функция – самое главное. Она описывает варианты решения той или иной проблемы, включает в себя критерии их оценки и выбора. Если вы читали и поняли основные принципы современных алгоритмов машинного обучения, на которых, кажется, работает мир, вы знаете, что почти все из них (самые полезные во всяком случае) работают, максимизируя целевую функцию. Если вы думаете, что все, что нужно для развития суперинтеллектуальной, но морально—этически правильно системы искусственного интеллекта — это хорошая объективная функция, вас нельзя винить. И конечно, мощный ИИ не сможет причинить человечеству никакого вреда, если его цель безвредна в своей сути. А что может быть более безобидным, чем задача … максимизации выработки канцелярских скрепок?
Суперинтеллектуальный производитель скрепок
Впервые описанный Оксфордским философом Ником Бостромом в эссе 2003 года, максимайзер скрепок – это воображаемая система, наделенная общим искусственным интеллектом (ИОИ), цель которой — увеличить количество скрепок в своей коллекции. ОИИ – это ИИ, напоминающий человеческий, способный обосновывать, планировать, решать проблемы, мыслить абстрактно, сравнивать. Звучит достаточно безобидно? Давайте копнем немного глубже. Представим, что система наделена среднечеловеческим уровнем интеллекта. Тогда она могла бы собирать скрепки из всех возможных источников на Земле, зарабатывать деньги на покупку скрепок или даже начать их производство. Здесь начинается самое интересное. Откуда она возьмет сырье для изготовления скрепок? Правильно, купит. Но что произойдет, когда все обычные источники поставок будут исчерпаны? Она может попробовать нетрадиционные пути, поставок, скупая то же самое сырье (например, алюминий) из других источников, обычно используемых в других отраслях промышленности — скажем, авиационной или автомобильной. Это непросто. Для этого системе придется использовать хитроумные методы и доставать деньги. И чем она умнее, тем выше вероятность достижения этих целей.
Таким образом, главная цель порождала бы маленькие цели, которые бы не были явно запрограммированы и предусмотрены человеческим разумом. А система … будет работать над улучшением своего собственного интеллекта, чтобы достичь эти новые цели, призванные, конечно, служить Главной Цели – накоплению скрепок. Став умнее, она будет производить все больше и больше скрепок, а также – и это главное — использовать свои расширенные способности для дальнейшего самосовершенствования.
Таким образом, искусственный общий интеллект, даже если ему дана совершенно безопасная и простая цель, с большой вероятностью порождает маленькие цели, которые невозможно предвидеть, а следовательно, и планировать.
Куда же все это ведет? По словам автора идеи профессора Бострома, «сначала вся Земля, а затем и весь космос могут превратиться в мощности по производству скрепок». А ведь все так хорошо начиналось…
Доказуемо полезный ИИ
Таким образом, разработка ИИ, ориентированного лишь на цель, не кажется очень хорошей идеей. Такой подход чреват неожиданностями. Когда мы учим машину думать и постоянно совершенствовать себя, мы не можем предсказать, как и когда она нас перехитрит.
Это называется «проблемой контроля общего искусственного интеллекта». На данный момент она недостаточно разработала и даже не слишком внятно сформулирована. Оказывается, все гораздо сложнее, чем нам представляется. Когда мы о ней думаем, не исключено, что мы уже сейчас напоминаем горилл, пытающихся составить планы контроля над человеком.
ИИ, совместимый с человеком
«Если машина способна мыслить, значит, она может мыслить более разумно, чем мы. Но тогда где наше место?». Эти слова Алан Тьюринг, создатель первой в мире модели компьютера, произнес еще в 1951 году. Сегодня американский профессор Стюарт Рассел работает над тем, что называется «доказуемо полезным ИИ». Он один из авторов многостраничной книги «Искусственный интеллект, основатель Центра интеллектуальных систем в Калифорнийском университете в Беркли. Профессор и давно изучает опасность ИИ. Он приводит множество примеров «целенаправленных» роботов (включая интеллектуального помощника, цель которого — поддерживать счастье вашего супруга) и объясняет потенциальную опасность и ограниченность таких систем. Цель нового подхода — гарантировать, что случайность, подобная истории с гипотетическим «максимизатором скрепок» никогда не возникнет. Для этого необходимо переориентировать ИИ от способности достигать произвольных целей к способности и мотивации реализовать доказуемо полезное поведение.
Чтобы определить понятие пользы, нужно проделать работу. Это, конечно, зависит от свойств и особенностей коллективного поведения людей и общества в целом. Задача неизбежно опирается на опыт и знания гораздо широкого круга мыслителей — социологов, политиков, экономистов, психологов, помимо основного сообщества исследователей ИИ, инженеров по машинному обучению и компьютерщиков.
Профессор Рассел сформулировал новые принципы робототехники, которые в ХХI веке придут на смену безнадежно наивным азимовским.
1. Единственная цель робота – максимизировать то, что является ценностью для человека.
2. Робот изначально не знает, в чем заключаются эти ценности.
3. Лучшим источником информации относительно этих ценностей для робота является человеческое поведение.
Источник: towardsdatascience.com