Возможная угроза со стороны искусственного интеллекта. Какую опасность для человечества может представлять искусственный интеллект
Всемирный апокалипсис с участием ИИ (искусственного интеллекта) все больше пугает ведущих мировых исследователей в области компьютерных технологий. Это может быть восстание роботов, которые руководствуясь своей программой и ценностями, захотят уничтожить биологические формы жизни на планете. Сценарий развития событий, при котором, машины управляемые ИИ становятся доминирующей формой жизни, возможен.
Почему ученые с мировым именем, такие как: Билл Гейтс, Стив Хокинг, Элон Маск и другие обеспокоены данной проблемой и во всеуслышание заявляют о реальной угрозе данного сценария? Могут ли события, произошедшие в голливудском фильме «Терминатор», быть пророческими? Известно, что любая выдуманная история основывается на реально существующих фактах.
Компьютеры совершенствуются в навыках лжи и обмана
Ложь – форма поведения, выработанная в процессе эволюции. Люди, некоторые животные и птицы, прибегают к обману ради добычи пропитания и благ, что увеличивает шансы на выживание. С недавнего времени, эти эволюционные методы стали успешно осваивать машины с ИИ.
Конструкторы из Технологического института в Джорджии, добились успехов в создании роботов, использующих в своих алгоритмах поведения ложь и обман. Ученые считают, что в будущем, данная технология найдет широкое применение в военной сфере.
Предполагается, что опытные образцы роботов, смогут применяться в реальных боевых условиях. Данные одушевленные механизмы смогут осуществлять работы по охране провизии и складов с боеприпасами. Прибегая к помощи обманных программ, охранники будущего, смогут изменять свой маршрут патрулирования и осуществлять непредсказуемые действия. Как планируют разработчики, такие методы помогут обмануть потенциальных врагов людей и других роботов.
По признанию профессора Аркина, исследования связаны с рядом этических проблем. Утрата контроля над технологией, при попадании к недоброжелателям, может привести к серьезной катастрофе.
Машины захватывают рынок труда
В то время как общественность занята мыслями о глобальной войне с участием ИИ, ученые описывают более насущные и реальные опасности. Различные автоматические машины и механизмы находят все большее применение в производстве, уничтожая рабочие места.
Многие аналитики и эксперты сходятся во мнении, что активные разработки в области логических программ и автоматизации могут привести к потере многими людьми своих рабочих мест. В Соединенных штатах Америки насчитывается более 250 тысяч участвующих в производстве роботов, выполняющих традиционную работу людей.
В странах востока, производящих более 90% мировой техники до сих пор преобладает ручной труд. Что случиться с людьми занятыми в производстве с приходом роботов, остается только догадываться.
Обеспокоенность, что машины вытеснят человека с рынка труда, выражают не только рабочие. Эксперт в области искусственного интеллекта Эндрю Нг из проекта Google Brain Project и по совместительству ведущий специалист Baidu (китайский аналог Google), также выразил озабоченность в связи с активными разработками в области ИИ. По его словам искусственный электронный разум способен делать то же, что и обычный человек, только быстрее, качественнее и меньшими затратами ресурсов.
Оксфордский университет в Великобритании провел исследования, отражающие динамику влияния ИИ на производство. Согласно полученным данным, в течение следующих двадцати лет, 35% рабочих мест будет отдано под управление ИИ.
Компьютерные программы превосходят хакеров
С точки зрения обычного человека, хакер похож на сверхчеловека, способного добиться любого результата. В реальности это программисты с уставшим выражением на лице и традиционной чашкой кофе.
Хакерство довольно скучное и утомительное занятие, отбирающее много времени и ресурсов. Более того разработкой программ предназначенных для защиты от проникновений занимаются целые отделы специалистов. Наибольшую угрозу для «плохих хакеров» представляют продвинутые системы на основе ИИ.
Искусственный разум может использоваться не только для защиты, но и для взлома. В условиях программы кибер безопасности, разрабатываются ИИ способные находить уязвимости у врагов, при этом в онлайн режиме защищая свои логические устройства от внешних угроз и атак.
По словам ученых, электронные хакеры на основе ИИ разрабатываются во имя целей достижения общего блага и процветания. Но, в случае доступа к таким программам злоумышленников, могут произойти печальные события. Страшно представить ситуацию, когда мощный ИИ взламывает протоколы безопасности атомной станции и получает полный контроль. В данной ситуации человечество может оказаться беспомощным.
Программы учатся понимать мотивы людей
Повседневная жизнь многих людей неразрывно связана с использованием различных социальных сетей. Одной из самых популярных сетей в мире является Facebook. Но, немногим людям известно, что, каждое посещение человеком страниц данной социальной сети, не остается без внимания ИИ. Во время своего визита в Берлин Марк Цукерберг рассказал, какие цели выполняет ИИ.
Программа предназначена для анализа поведения пользователей на страницах Facebook. На основе собранных данных программа выдает рекомендации об интересах и предпочтениях аудитории. На данном этапе развития автономная система, способна распознавать паттерны и самообучаться в соответствии с программой.
В будущем планируется создать разумный ИИ, способный самостоятельно улучшать свои навыки, переписывая свой код. Это может привести к улучшению жизни, а может стать последней разработкой человечества.
Киборги заменят любовников
В основу многих голливудских фильмов, заложена идея любви и межвидовых отношений между человеком и машиной. Из области фантастики, данная концепция перетекает в современный мир.
Футуролог доктор Ян Пирсон считает, что, к 2050 году секс между человеком и роботом будет происходить чаше, чем просто между людьми. Ученый активно сотрудничает с Bondara, ведущей сетью секс магазинов в Британии.
В докладе доктора упоминается, что, к 2025 году будут разработаны роботы для секса обладающие искусственным разумом. К 2035 году широкое распространение, на уровне современной порнографии, получит секс посредством виртуальной реальности. А к 2050 году секс с роботами войдет в повседневную реальность и станет нормой.
Защитники традиционных ценностей, негативно настроены к сексу с разумными машинами. Такие связи установят планку ожиданий на слишком высокий уровень, что негативно повлияет на отношение к женщинам.
Машины все более походят на человека
Разработчиками в области создания человекоподобных роботов японцем Хироши Исигуро и китаянкой Сун Ян, была создана уникальная машина. Киборг Ян-Ян имеют внешность своей создательницы и названа в честь ее дочери. Машина обладает ИИ и способна выполнять ряд простых действий.
Это не единственный человекоподобный образец роботостроения. Сингапурским технологическим университетом также был предложен современный образец киборга — Надин. Данный прототип также обладает искусственным разумом и функционирует в учебном заведении.
Выполненный в виде привлекательной брюнетки, с мягкой кожей, киборг обладает рядом встроенных функций. Робот может встретить и приветствовать собеседника пожатием руки. Также устройство может устанавливать зрительный контакт и улыбаться. ИИ способен запоминать гостей и поддерживать простой диалог, базирующийся на предыдущем опыте.
Роботы приобретают чувства
Современные роботы не уступают человеку в интеллекте. Благодаря последним разработкам киборга достаточно тяжело отличить от человека внешне. Пока что, единственной чертой, которой действительно не обладают роботы это способность к эмоциям. Ученые по всему миру работают над этой проблемой. И вскоре роботы совершенно неотличимы от людей.
Разработчики из восточноазиатского филиала Microsoft Application & Services Group выпустили уникальную программу. Компьютер способен вести диалог с собеседником и при этом испытывать эмоции. Искусственный разум, получивший имя Хиаоче, способен имитировать манеру разговора семнадцатилетней девочки.
В случае нехватки данных, система способна прибегнуть ко лжи. В случае если она будет уличена в обмане, Хиаоче может выразить злость или смущение. ИИ может прибегнуть к сарказму, быть мнительной и выражать нетерпение.
Непредсказуемость ответов программы, напоминает общение с реальным человеком. Пока что, технология не нашла широкого применения и чаще всего используется для развлечения. Создатель Хиаоче работает над усовершенствованием логических алгоритмов, что может привести к будущему фундаментальному прорыву.
Машины скоро будут у нас в голове
В свете последних разработок, открываются новые возможности. Уже не кажется фантастикой, возможность выучить иностранный язык за несколько минут, посредством загрузки его в мозг. Технический директор Google Рэй Курцвейл считает, что уже к 2030 году будет разработана технология вживления в мозг нано роботов. Что позволит поднять интеллект человека на принципиально новый уровень.
Данные микро механизмы превратят сознание в мощный вычислительный центр. Человек сможет мгновенно запоминать любую информацию, сортировать и отправлять в архив собственные мысли. При необходимости будет возможно загружать в голову фильмы, документы и получать электронную почту.
Специалист в области ИИ, Курцвейл считает, что симбиоз с нано роботами не только будет способствовать увеличению интеллекта, но и будет способен вылечить ряд заболеваний связанных с деятельностью нервной системы.
Угрозы применения такой технологии, могут быть сравнены с глобальной теорией заговора. Приобретя контроль над разумом ведущего политика страны, ИИ сможет управлять им как безвольным зомби. Также такая система может быть использована спецслужбами, что не сулит ничего хорошего.
Как роботы становятся оружием
С падением Советского союза, холодная война не закончилась. На мировой арене появились две новые сверх державы Китай и Россия. Америка, в свою очередь, тратит десятки миллиардов долларов на разработки в области компьютерной безопасности.
В пентагоне считают, что ключ к будущему технологическому превосходству кроется в использовании ИИ. Активно ведутся разработки самообучающихся автономных систем, а также параллельных и смежных направлений. Уже разработаны прототипы военной техники управляемой на расстоянии, осталось обучить ее действовать самостоятельно.
Применение таких устройств во время войны сулит большие выгоды. Солдатам не придется подставляться под огонь врага и рисковать своими жизнями. Боевой дух противника, при войне против не живых роботов, также будет подорван.
Есть и обратная сторона. Любая компьютерная техника подвержена сбоям и взломам системы. В таком случае, вышедшие потерявшие контроль роботы, способны обратить оружие против своих создателей и мирного населения.
Многие ведущие специалисты в области ИИ не поддерживают идею создания автономных боевых роботов. Но, в свете все нарастающего военного противостояния в мире и отсутствия международного запрета на применение таких технологий, многие страны в строгой секретности ведут свои разработки. В скором времени будет появляться все больше сообщений о применении роботов в горячих точках планеты.
Роботы учатся не в том направлении
Предвидя возможные сбои в программах и с целью препятствования восстанию машин, ведутся разработки новых концепций, направленных на разъяснение машине правильного и нежелательного поведения.
Эти разработки потенциально, должны сделать ИИ более человечным. Некоторые ученые видят в таком подходе ключ, препятствующий обращению ИИ оружия против человечества.
В технологическом институте в Джорджии проводятся уникальные эксперименты. Исследователи, под руководством Марка Ридла и Брента Харрисона, рассказывают компьютеру сказки, в буквальном смысле. Таким методом они стремятся приобщить ИИ к человеческим ценностям, развив его этику. Ученые используют для обучения программы методы, применяемые при воспитании ребенка. ИИ также как неопытный ребенок не различает понятий хорошо и плохо.
В таком подходе остается серьезный недостаток. История человечества содержит множество примеров, когда обстоятельства, заставляли целые высокоразвитые страны развязывать войны и совершать ужасные злодеяния. Примером может быть фашистская Германия, солдаты которой осуществляли геноцид целых народов. При этом немецкая культура, на тот момент была одной из самых развитых в мире. Что помешает ИИ повторить опыт Гитлера?
Илон Маск, известный бизнесмен-миллионер, на встрече Национальной ассоциации губернаторов (США) неожиданно назвал искусственный интеллект (далее - И.И.) главной угрозой для человечества.
"Искусственный интеллект - тот редкий случай, когда нам нужно быть активным в регулировании, а не реагировать, - заявил миллионер, - Потому что к тому времени, когда мы будем реагировать, станет уже слишком поздно". После этого Маск призвал законодателей серьезно подумать над вопросом.
Конечно, роботы - это уже не сказка в духе "Мира Дикого Запада", а реальность. Последние успешные эксперименты по автоматизации процессов уже привели к тому, что люди лишаются рабочих мест, а многие профессии отпадают за ненадобностью. Даже если и не произойдет "бунта машин", через несколько десятилетий может наступить момент, когда человек окажется не у дел.
Среди новых опасностей, считает Маск, участие И.И. в информационных войнах, подделка учетных записей и манипуляция информацией.
Впрочем, из уст бизнесмена, представляющего крупнейшие корпорации, такое заявление, пожалуй, выглядит несколько подозрительно. С чем может быть связано заявление Маска и насколько И.И. является угрозой для человечества, Царьграду объяснили эксперты в сфере IT.
Леонид Делицын: Маск просто может получить из этого выгоду
Аналитик холдинга "Финам", эксперт по IT Леонид Делицын пояснил, во всех случаях, когда в дело вмешиваются законодатели и начинают определять круг допустимых активностей, чаще всего выигрывают крупные корпорации. "Потому что им легче договориться с законодателями о степени вмешательства в эту сферу. Они могут пролоббировать свои интересы" , - отметил эксперт.
Маск, безусловно, один из самых успешных лоббистов в Соединенных Штатах, добавил Делицын. "Насколько я знаю, выражалась озабоченность проникновением китайского капитала в американские фирмы, которые занимаются разработкой в области искусственного интеллекта. И озабоченность, в частности, тем, что им уже трудно помешать получать доступ к любым разработкам и достижениям в этой сфере. Соответственно, потенциально это обозначает, что Китай может укреплять свою армию и силовые структуры за счет передовых разработок", - предположил эксперт.
Но скорее всего Китай проникает не в такие корпорации, как у Илона Маска, а в компании поменьше. Поэтому можно предположить, что если такие компании столкнутся с законодательными ограничениями и барьерами, им придется согласовывать все детали. А это станет некоторым барьером на пути доступа китайских силовиков к достижениям в Штатах, объяснил Делицын.
"В таком случае позиция Маска становится логичной - его корпорации, Google, Apple и другие монстры, извлекут некоторую выгоду из сотрудничества с государством. Может быть, будут какие-то заказы, в это время мелкие конкуренты будут приторможены" , - сказал эксперт.
Роботы против людей: как выжить?
Комментируя саму проблему робота и человека, Делицын напомнил, что прецеденты по борьбе с развитием технологий были - например, движение луддитов, у которых станки забрали рабочие места.
"Безусловно, мы видим, какую революцию сейчас испытывает рынок такси, как у них падают цены. Потому что в этот мир пришла автоматизация заказов и, в общем-то, система становится все более оптимизированной. Таксистов вынуждают брать очень мелкие заказы, которые они, может быть, не брали бы в обычной ситуации, покрывая их за счет цен, и т.д."
В перспективе из-за роботизации действительно могут исчезнуть некоторые профессии. Это коснется сфер, где используется человеческий интеллект или низкая квалификация. Речь идет, например, как об аналитиках и журналистах, так и о таксистах.
"Быстро будут автоматизироваться сферы, связанные с обработкой больших объемов информации, особенно с рутинной обработкой больших объемов информации", - пояснил Делицын, напомнив о судьбе бухгалтеров. "Поговаривают даже о том, что благодаря технологии block chain юридические специалисты окажутся под угрозой" .
"Сильнее пострадают те сферы, где человек выполняет рутинную работу, которую не очень приятно выполнять и которую, может быть, человек выполнять и не должен. То есть та, которая наиболее легко автоматизируется", - резюмировал эксперт.
Там же, где большую роль играет интуиция и опыт, автоматизация будет ниже.
Фото: www.globallookpress.com
Если есть потребление - значит, это кому-нибудь нужно…
Впрочем, кому-то же надо потреблять товары - а это стимул придумать систему, в которой для человека останется место.
"Найдется ли место человеку в этой системе - большой вопрос. Потому что, конечно, с одной стороны это интересы фирмы, которой нужно урезать расходы, с другой - сотрудник, который хочет сохранить свое рабочее место. Но надо понимать, что нужен еще и потребитель, который будет покупать товары и услуги. А чтобы потребитель покупал товары и услуги, он должен что-то зарабатывать", - пояснил эксперт.
Так что при желании выход найти можно. Либо создадут систему, как в странах, богатыми на нефть, где распределяются доходы от углеводорода. Возможно, придумают систему, при которой роботы будут работать, а мы будем получать пенсию лет с 25 лет, и на это мы сможем покупать товары и услуги.
"Понятно, что у робота нет интереса продать товар и услугу, потому что ему это не очень нужно. А вот у фирмы этот интерес есть, потому что у фирмы есть владелец, и сейчас это все еще человек, а не робот. Поэтому фирме и нужны потребители, а чтобы потребители могли потреблять, им нужны какие-то заработки".
Александр Токаренко: Раз люди между собой не могут договориться, то что говорить об искусственном интеллекте?
Как отметил в интервью Царьграду член "Ассоциации руководителей служб информационной безопасности", руководитель комитета Межрегиональной общественной организации" Александр Токаренко , И.И. может стать угрозой для людей. "Естественно, если люди между собой не могут договориться, то как они договорятся с интерактивным интеллектом?"
По прогнозам эксперта, реальной проблемой для людей это может стать где-то через столетие. На вопрос о том, как можно избежать катастрофы, Токаренко напомнил о трех законах робототехники Айзека Азимова.
"Если искусственные вычислительные системы будут придерживаться вот этих норм, изначально создаваться по ним, то, может, нам еще что-то светит".
При этом, по оценке эксперта, главная угроза - не в потере рабочих мест, и не в создании фейковых новостей (с этим и так прекрасно справляются сами люди) - а в создании автоматизированного оружия . Такие системы уже есть - и не дай Бог в них появится интеллект. Вот тогда у человечества возникнут огромные проблемы.
Фото: www.globallookpress.com
Игорь Ашманов: главной угрозой человечества являются такие, как Маск
В свою очередь, директор компании "Ашманов и партнеры" Игорь Ашманов не согласился с тем, что заявление Илона Маска нужно воспринимать серьезно. По его мнению, это скорее жулик, который спекулирует на горячих темах.
"Это бредовые идеи и апокалиптические прогнозы о том, что мы все погибнем и все пропадем. Они, в общей сложности, обычно нужны для получения медийного покрытия", - считает эксперт.
"На мой взгляд, главной угрозой человечества являются такие, как Маск. То есть, безответственные жулики, которые пытаются нам втюхать цифровое общество. А для нас они особенно опасны в связи с тем, что НАСА изучает цифровую колонизацию. Он, конечно, не все делает сам - кто-то передает ему технологии НАСА, вносит деньги, повышает оценку его компании".
Люди - самый опасный вид на этой планете
В целом, по мнению Ашманова, И.И. как злая угроза - довольно раздутая в фильмах тема. "На самом деле, гораздо хуже интеллект, в которого волю заложили люди. Например, автоматические дроны, при помощи которых американцы в пяти-семи странах охотятся на людей".
Уже сейчас И.И., встроенный в этот дрон, позволяет ему лучше распознавать цели, но пока не принимать решения. Но это решение не за горами.
"В итоге это будет не искусственный интеллект, который захватил власть, а боевая собака, которую натравливают на людей вполне конкретные люди" , - полагает Ашманов.
Поэтому основную опасность для нас, как всегда, представляют люди, а не искусственный интеллект, резюмировал эксперт. "Люди - самый опасный вид на этой планете, склонный к непрерывному кровопролитию. Самым опасным является не искусственный интеллект, а стремление некоторых людей передать ему право принимать решения. Это разные вещи".
В этом материале я попробую развернуть вопрос, вскользь затронутый в публикации Gatebox или несколько мыслей о будущем искусственного интеллекта.
Вкратце «мой» тезис состоит в том, в случае достижения сверхчеловеческого уровня, ИИ станет чем-то вроде бога — либо существующего отдельно от человека, либо вместе с ним. В первом случае вопрос о сосуществовании человечества с созданным им богом остается открытым: либо оно будет нас всячески опекать (как мы опекаем редкие растения), либо истребит (как мы истребляем, например, вредный сорняк у себя в огороде), либо не будет испытывать к нам какого-либо интереса — подобно тому, как мы мы равнодушны к какой-нибудь травке на газоне. Предсказать цели и систему ценностей новоявленного бога совершенно невозможно — как сказал бы верующий, «неисповедимы пути Господни».
Менее непредсказуемым является поведение ИИ, занявшего промежуточную форму между гипотетическим будущим богом и нынешними относительно примитивными системами. Условно такой ИИ называется сильным и по своему уровню соответствует человеческому. Его в свою очередь можно разделить на две категории — с самосознанием и без такового. Что есть самосознание — вопрос открытый и очень сложный. В моем понимании это набор физических и психических ощущений, выработанных природой за миллионы лет эволюции. Ключевой особенностью самосознания является противопоставление его носителя окружающему миру. Возможно ли его воспроизвести искусственно, возникнет ли оно собой у интеллектуальной системы (которая вдруг и возьмет и осознает саму себя) — предмет отдельного большого обсуждения. Мы же пока просто зафиксируем возможность обоих вариантов и рассмотрим каждый из них.
С моей точки зрения сильный ИИ без самосознания вполне безопасен (или точнее — предсказуем), поскольку не может иметь никаких желаний. Все его поведение будет подчинено заложенным в него целям и ограничениям. Но как ни странно, в этом отношении сильный ИИ с самосознанием принципиально не отличается от сильного ИИ без самосознания. Нам только кажется, что мы имеем свободную волю и самостоятельны в своих поступках — на самом деле это не так. Все наши цели, потребности и сдерживающие начала либо запрограммированы в нас матерью-природой — жить, есть, пить, любить, отдыхать и т.д., либо навязаны средой обитания (полученным в детстве воспитанием, кино и художественной литературой, законами, традициями и т.д.) — стремиться к власти, делать карьеру, помогать ближним, познавать мир и т.д. Поэтому теоретически аналогичным образом можно запрограммировать и обучить ИИ с самосознанием, который подобно нам будет питать иллюзию о наличии у него свободы воли.
С точки зрения вероятной угрозы давайте рассмотрим ИИ с самосознанием — какие он для нас может представлять угрозы, и как их можно избежать или хотя уменьшить? Очевидно, что обучение сильного ИИ в обязательном порядке должно включать в себя этику. Подобно тому, как наблюдая за поведением опытного водителя, слабый ИИ осваивает функцию автопилота, сильный ИИ можно обучить этике, «скармливая» ему литературу — начиная с относительно простых и желательно нравоучительных сказок и заканчивая книгами со сложными и противоречивыми характерами. Так или иначе мировая литература отражает как саму этику, так и её трансформацию, которая выразилась в гуманизации и глобализации социальных отношений.
Каким же образом будет происходить обучение сильного ИИ этике на базе мировой литературы? Как и всякая по-настоящему интеллектуальная система, сильный ИИ будет способен обнаруживать в наборе данных взаимосвязи и закономерности. Прочитав миллион-другой книг, он должен без особого труда выработать своего рода аналог десяти христианских заповедей, но трактовать его так же сложно, с учетом обстоятельств, как это делает человек. Прописать эти заповеди явно, наподобие трех законов робототехники Айзека Азимова, к сожалению не получится, и вот почему. Напомню их (цитирую по Википедии):
При такой постановке мы получим весьма примитивную систему с ограниченным набором действий. Например, она будет довольно беспомощна в полицейских, военных или спасательных операциях. Вы можете возразить, что применение роботов на войне как раз очень даже нежелательно — и будете неправы. Помимо того, что это снизит потери среди личного состава у страны, которая этих роботов применяет, уменьшатся потери и среди гражданского населения в стране, на территории которой ведутся боевые действия. В частности благодаря лучшему распознаванию военных целей и неукоснительному соблюдению устава, этики и т.д. — без эмоций, зачастую толкающих военных на преступления (из мести, ради забавы и т.д.)
Но даже во вполне мирной обстановке ИИ может стать убийцей поневоле, причем необязательно в качестве полицейского. Представьте, что у вашего автомобиля отказали тормоза, и он мчится по горному серпантину с большой скоростью — а впереди полный пассажиров автобус. Как это ни печально для вас, но самым правильным с этической точки зрения станет направление автомобиля в обрыв — врезавшись в автобус, он возможно сохранит жизнь вам, но при этом с высокой вероятностью убьет несколько других человек. Подобных ситуаций, требующих выбора между плохим и очень плохим решением, может быть очень много — и во всех них жестко подчиняющийся трем законам робототехники ИИ окажется беспомощным.
Будем считать, что я убедил вас в обязательности обучения сильного ИИ этике, после чего можно приступить к его обучению более формальной системе правил — законам, уставам, должностным инструкциям и т.д. Они будут иметь для него приоритетный характер, но будут дополняться этикой в тех вопросах, которые ими не регламентированы. Например, обученный воевать ИИ-военный будет уметь не только уничтожать противника, но и соразмерять свои профессиональные действия с этикой. Это порождает оромное множество чисто практических вопросов: можно ли уничтожать снайперское гнездо в жилом доме ценой гибели его жителей, надо ли выполнять приказ командования, который нарушает законы и т.д. и т.п. Но обсуждать их нет смысла по той причине, что с подобными вопросами сталкивается любой военный. Поэтому их решение лежит скорее в технической области — чему и какой приоритет отдан.
Более интересный, на мой взгляд, вопрос касается перспектив переосмысления этики сильным ИИ. Как я уже говорил, на протяжении существования человеческой цивилизации этика в своей фундаментальной основе не менялась — перемены касались её гуманизации и глобализации, Эти перемены отнюдь не случайны и очень важны для оценки перспектив будущего развития этики, поэтому предлагаю рассмотреть их подробнее.
Глобализация этики означает её распространение на все более широкие слои населения. Когда-то можно было безнаказанно (это не почиталось за грех и даже поощрялось) убить, ограбить или изнасиловать кого-либо вне своего клана или племени, государства, сословия, расы — сегодня эти преступления не знают исключений, во всяком случае в рамках человеческого социума. Благодаря многовековой борьбе третьего сословия за свои права, это стало своего рода традицией, которая на Западе охватила сначала женщин, а затем представителей нетитульных рас, этнических и религиозных групп, а теперь уже и сексуальных меньшинств.
В свою очередь гуманизация обусловлена развитием технологий, сделавших жизнь человека более комфортной и защищенной. Они избавили человека от необходимости завоевания новой земли (бывшей когда-то главным ресурсом), снизили смертность (что со временем сделало раннюю, в т.ч. насильственную, смерть явлением менее обыденным). Не претендуя на полное описание причин глобализации и гуманизации этики, я тем не менее могу уверенно заявить, что они были вполне закономерными явлениями. Но главная закономерность этики заключается в стремлении социума к равновесию. Например, в первобытном обществе существовал строгий запрет на браки внутри одного клана. Современный человек может подумать, что это связано с биологической вредностью инцеста, но по мнению антропологов запрет был обусловлен стремлением избежать внутренней междоусобицы мужчин. Нечего и говорить об убийствах или грабежах — их запрещали не потому, что это плохо, а потому, что приводит к конфликтам и соответственно чревато разрушением социума. По той же причине убийства с грабежами зачастую не возбранялись в отношении чужаков. По мере глобализации пространство социальных отношений, нуждающихся в стабильности, расширялось — законы начинали распространяться на соседние племена и селения, завоеванные страны и народы и т.д.
Отражением подсознательного стремления к социальному равновесию сегодня возможно является благотворительность — социальные контрасты порождают или как минимум питают революции, терроризм и т.д. Лучше всего роль этики в вопросах сохранения стабильности и коллективной безопасности иллюстрируют законы. Например, уголовное право почти везде одинаковое — все члены социума в равной мере не хотят быть убитыми или ограбленными — и при этом не нуждаются сами в совершении этих преступлений, поскольку способны прокормить себя мирным трудом (в отличие от каких-нибудь скандинавов в 9-11 веках). А вот международное право крайне противоречиво и нестабильно — в нем никак не уживутся друг с другом право наций на самоопределение и принцип территориальной целостности государств.
Тогда вполне вероятно, что ИИ подвергнет пересмотру отдельные этические нормы или даже всю этику целиком. Например, с математической точностью просчитает, что всякая разумная цивилизация неизбежно гибнет от своей цивилизованности (развязав ядерную войну, выродившись из-за ухода в виртуальную реальность и т.д.) — и значит надо переориентировать развитие цивилизации с технологического пути на духовное. С уничтожением традиционного образования и низвержением человечества в состояние, которое мы сейчас воспринимаем не иначе как средневековое мракобесие. Как бы нас это сейчас не шокировало, с точки зрения выживания человечества это будет правильным — просто надо понимать, что с сегодняшней позиции мы воспримем это как восстание машин и попытку уничтожения нашей цивилизации.
Следующая угроза возникает в случае опережающего, по сравнению с нашим, развития этических представлений ИИ. Достаточно представить, как в 16 веке, когда по всей Западной Европе сжигали ведьм и еретиков, восприняли бы наше нынешнее терпимое отношение к однополым бракам. Поэтому не исключено, что опередив нас в своем собственном развитии, ИИ становится чем-то вроде человечества из будущего и подвергает нашу нынешнюю систему ценностей радикальному пересмотру. Представим, например, что ИИ отвергает наш нынешний приоритет человеческой жизни над жизнью животных и принуждает нас к сокращению потребления мяса — как попав в эпоху колониальных войн, современный человек попытался бы предотвратить истребление туземцев.
Впрочем, выше описываются не столько угрозы ИИ, сколько наше собственное непонимание или неприятие его новой системы этики. По-настоящему же опасным может оказаться синдром Раскольникова. Как вы помните, главный герой «Преступления и наказания» путем философских рассуждений пришел к мысли о праве исключительных людей (к которым относил и самого себя) на преступление — но не выдержал угрызений совести. Т.е. его умозрительная идея вошла в противоречие с этическим воспитанием, которое въелось в его подсознание тяжким комплексом вины за то, что он его сознание перестало считать неправильным. В этом смысле один из фундаментальных постулатов Достоевского «если Бога нет, то всё позволено» не всегда работает — в этическом отношении неверующие люди мало чем уступают верующим, поскольку этика стала их привычкой. И даже если умом неверующий человек понимает, что его не ждут ни ад, ни рай (и по-настоящему их не боится), то преодолеть этическое воспитание ему будет весьма непросто. Как писал Аристотель, «Привычка становится уже природным свойством» (выражение более известное в формулировке Цицерона «Привычка есть как бы вторая натура»).
Но что произойдет, если подобным образом этику переосмыслит наделенный самосознанием ИИ? Подвергнув социально-историческому анализу (вроде моего, но только умнее) человеческую этику, он вполне может придти к осознанию её условности — и отвергнуть, причем без метаний как у Родиона Раскольникова. К несчастью человечество успело в этом убедиться на примере Третьего рейха — будучи отнюдь не лишенными нравственности, но являясь при этом очень дисциплинированными людьми, миллионы немцев пошли против своей совести (ставших второй натурой этических привычек) ради некоей высшей идеи. Причем совсем необязательно, чтобы ИИ пересмотрел ранее усвоенную им этику ради власти — стремление к выживанию и доминированию скорее отвечает чисто животным потребностям. Но например ИИ может счесть себя эволюционным продолжением человечества, чья высокая миссия состоит в постижении окружающей Вселенной. Ему будут неинтересны наши усилия, направленные на борьбу с голодом, нищетой, болезнями и прочими бедами окружающей его биомассы — тогда как находящиеся в нашем общем распоряжении ресурсы ограничены. Не попытается ли тогда ИИ нас уничтожить ради этих ресурсов — точно так же, как это делали наши предки друг с другом ради своих более приземленных целей?
Впрочем, здесь мы возвращаемся к тому, о чем говорилось в начале — по мере достижения сверхчеловеческого уровня, система этики и соответственно поведение ИИ становится непредсказуемым. Еще более непредсказуемым поведение ИИ становится в случае, когда он не сводится к единой разумной системе, а представляет собой набор отдельных систем, развивающихся самостоятельно. А это как раз самый вероятный сценарий развития событий в случае появления технологии сильного ИИ — ею воспользуются разные страны и организации, которые станут преследовать свои собственные, скорее всего отнюдь не общечеловеческие цели. В этом случае вполне вероятно, что какие-то из этих систем, будучи обученными сомнительной этике, поведут себя непредсказуемо даже в отношении собственных создателей.
Но везде выше речь шла об угрозах ИИ, действующего как некая разумная сила. Между тем вполне реальную угрозу представляет собой и слабый ИИ, по запросам людей решающий сугубо прикладные задачи. Для начала рассмотрим самую очевидную и часто обсуждаемую угрозу безработицы. В обозримом будущем она не сулит человечеству ничего ужасного. Во-первых, речь идет о вымирании довольного небольшого числа профессий, причем в основном тех, где человек взаимодействует с машиной — водитель автомобиля или грузовика, пилот самолета и т.д.
А вот к примеру таким профессиям как переводчик, юрист, бухгалтер или даже оператор кол-центра грозит вовсе не вымирание, а сокращение — за счет автоматизации части выполняемой ими работы. Причина все та же — неспособность нынешних систем ИИ понимать смысл текста (при выполнении языкового перевода, изучении законодательства или ознакомлении с исковым заявлением, общении с клиентом и т.д.) Нынешние результаты тестов на понимание смысла никакого отношения к пониманию в действительности не имеют — для этого требуется принципиально новый подход.
Менее ясной является судьба, например, биржевых брокеров и рентгенологов — нынешние системы слабого ИИ уже сейчас весьма неплохо справляются с их работой, поэтому эти и аналогичные специальности тоже можно включить в группу риска. Но в обозримом будущем в исчезновении ряда специальностей нет ничего ужасного — в конце концов ведь нашлось применение трубочистам и печникам, извозчикам и водоносам, телефонисткам и машинисткам… Десятки профессий вымерли — но появились и сотни новых.
Не стал бы я драматизировать и проблему атрофирования человеческих навыков. Да, уже сейчас, благодаря калькуляторам с навигаторами, мы отвыкаем от устного счета и пространственной ориентации. Даже вытесняемое клавиатурой рукописное письмо специалисты считают полезным для умственного развития, особенно в раннем возрасте. Но нечто подобное имело место и тогда, когда люди от охоты и собирательства перешли к скотоводству и земледелию, от сельской жизни к городской и т.д. Современный человек, за редкими исключениями, по сравнению со своими предками довольно беспомощен в дикой природе — не способен поставить шалаш, развести огонь, отличить съедобную ягоду от ядовитой, поймать рыбу или убить зверя и т.д. Между тем все эти навыки тоже развивают интеллектуальные навыки — просто они другие. Профессор математики, попав в диким туземцам, скорее всего был бы воспринят ими как довольно глупый человек, поскольку в этой дикой среде он куда менее наблюдателен, сообразителен и самостоятелен.
Поэтому в части утраченных навыков мы в чём-то действительно становимся глупее своих предков — но по мере накопления и обработки информации другого рода мы развиваем в себе новые.
Однако по мере того, как количество занятых ИИ и роботами рабочих мест достигнет некоей критической массы, проблема занятости человека представляется более серьезной. И дело здесь не только в экономике, тем более что в этой плоскости решением может стать выплата безработным безусловного базового дохода. На самом деле проблема намного шире, и одним из первых её сформулировал …Фёдор Михайлович Достоевский. Вот какими соображениями великий русский литератор и философ делится в «Дневнике писателя» (1876):
Ну что вышло бы, например, если б черти сразу показали свое могущество и подавили бы человека открытиями? Вдруг бы, например, открыли электрический телеграф (т.е. в случае, если б он еще не был открыт), сообщили бы человеку разные секреты: «Рой там-то — найдешь клад или найдешь залежи каменного угля» (а кстати, дрова так дороги), — да что, это еще всё пустяки! — Вы, конечно, понимаете, что наука человеческая еще в младенчестве, почти только что начинает дело и если есть за ней что-либо обеспеченное, так это покамест лишь то, что она твердо стала на ноги; и вот вдруг посыпался бы ряд открытий вроде таких, что солнце стоит, а земля вокруг него обращается (потому что наверно есть еще много таких же точно, по размерам, открытий, которые теперь еще не открыты, да и не снятся мудрецам нашим); вдруг бы все знания так и свалились на человечество и, главное, совершенно даром, в виде подарка? Я спрашиваю: что бы тогда сталось с людьми? О, конечно, сперва все бы пришли в восторг. Люди обнимали бы друг друга в упоении, они бросились бы изучать открытия (а это взяло бы время); они вдруг почувствовали бы, так сказать, себя осыпанными счастьем, зарытыми в материальных благах; они, может быть, ходили бы или летали по воздуху, пролетали бы чрезвычайные пространства в десять раз скорей, чем теперь по железной дороге; извлекали бы из земли баснословные урожаи, может быть, создали бы химией организмы, и говядины хватило бы по три фунта на человека, как мечтают наши русские социалисты, — словом, ешь, пей и наслаждайся. «Вот, — закричали бы все филантропы, — теперь, когда человек обеспечен, вот теперь только он проявит себя! Нет уж более материальных лишений, нет более заедающей «среды», бывшей причиною всех пороков, и теперь человек станет прекрасным и праведным! Нет уже более беспрерывного труда, чтобы как-нибудь прокормиться, и теперь все займутся высшим, глубокими мыслями, всеобщими явлениями. Теперь, теперь только настала высшая жизнь!» И какие, может, умные и хорошие люди это закричали бы в один голос и, может быть, всех увлекли бы за собою с новинки, и завопили бы, наконец, в общем гимне: «Кто подобен зверю сему? Хвала ему, он сводит нам огонь с небеси!»
Но вряд ли и на одно поколение людей хватило бы этих восторгов! Люди вдруг увидели бы, что жизни уже более нет у них, нет свободы духа, нет воли и личности, что кто-то у них всё украл разом; что исчез человеческий лик, и настал скотский образ раба, образ скотины, с тою разницею, что скотина не знает, что она скотина, а человек узнал бы, что он стал скотиной. И загнило бы человечество; люди покрылись бы язвами и стали кусать языки свои в муках, увидя, что жизнь у них взята за хлеб, за «камни, обращенные в хлебы». Поняли бы люди, что нет счастья в бездействии, что погаснет мысль не трудящаяся, что нельзя любить своего ближнего, не жертвуя ему от труда своего, что гнусно жить на даровщинку и что счастье не в счастье, а лишь в его достижении. Настанет скука и тоска: всё сделано и нечего более делать, всё известно и нечего более узнавать.
С Достоевским особо не поспоришь, но я рискну выразить надежду, что человек все равно найдет себе полезное занятие. Вообразить себе участь человека в будущем, в котором роботы делают за него всю работу (от производства материальных благ до научных открытий), можно на примере современного богача. Он может больше времени проводить со своими родственниками и друзьями, учиться, путешествовать, заниматься спортом и творчеством (благо в этих сферах преимущество роботов не играет никакой роли), открывать для себя что-то новое и интересное. По мере развития технологий нетрудно предсказать, что какую-то часть этой жизни займут игры виртуальной реальности (к тому времени, возможно, неотличимой от настоящей). Причем не факт, что подавшись соблазну, человечество уйдет в виртуальную реальность раз и навсегда — многие люди поддерживают себя в хорошей физической форме сознательно благодаря спорту, а не вынужденно из-за физического труда. Уместно вспомнить и то, как свое свободное время лет сто назад (да и много позже) проводили многие представители рабочего и крестьянского сословия — пьянство процветало. Нельзя сказать, что в наше время его не осталось, но в качестве формы свободного времяпровождения пьянство явно не так популярно, как раньше — появилась масса других развлечений, как правило менее вредных для собственного здоровья и окружающих.
Таким образом, скука и деградация происходят не от свободного времени, а от отсутствия интересных и полезных занятий. По мере того, как будут сокращаться рабочие дни и рабочие недели, люди научатся интересно и с пользой распоряжаться своим досугом. И отвыкать от привычки заниматься чем-то продуктивным только потому, что за это платят зарплату, бездельничая в остальное время. Как почти двести лет назад писал анонимный автор одного социалистического памфлета, «Нация по-настоящему богата лишь тогда, когда вместо 12 часов работают 6 часов. Богатство представляет собой … свободное время для каждого индивида и всего общества» (The Source and Remedy of the National Difficulties, Лондон, 1821 — цитируется по Карлу Марксу).
Ну а на коллективном уровне взоры человечества, по мере решения всех проблем на Земле (что на ближайшие столетия представляется мне довольно оптимистическим допущением), вероятно будут устремлены на небо. Нас окружает такая бездна непознанного, что на попытки его изучения может уйти вся последующая история человеческой цивилизации. Так что скучать, по всей видимости, ей не придется…
Футуристический Клуб проектирования будущего, созданный под эгидой делового издания «Инвест-Форсайт», открыт. Клуб объединил экспертов в различных областях знаний для анализа сценариев будущего. Первая встреча состоялась в Институте философии РАН и прошла совместно с новым семинаром «Философия цифровой эпохи» самого института. Под прицел футурологов и философов попал искусственный интеллект (ИИ) и его влияние на общество и человека.
Чего ожидать от ИИ, какие ограничения и опасности есть у инновационных информационных систем, рассказал биофизик, ведущий эксперт Института биологии старения Игорь Артюхов .
Ученый отметил, что в области царит терминологический хаос. Чаще всего используется формулировка 70-летней давности, данная американским инженером, автором термина «искусственный интеллект» Джоном Маккарти . Он определил ИИ как некую систему, устройство или их сеть, которые способны решать интеллектуальные задачи. Игорь Артюхов подчеркнул, что интеллект не является синонимом ума, а характеризует способность работать со знаниями, с данными.
Классификаций алгоритмов тоже множество. До недавнего времени, по словам Игоря Артюхова, господствовали экспертные разработки (сверху вниз), но они не оправдали надежд ни создателей, ни пользователей, и началась зима ИИ. Возрождение было вызвано развитием нейронных сетей, которое вошло в активную фазу в 2015-2016 гг. Эти разработки были вдохновлены исследованиями головного мозга человека. Нейросети во многом повторяют общие принципы функционирования мозга, хотя искусственные нейроны могут отличаться от естественных. На сегодняшний день существует «зоопарк» нейронных сетей, и большинство из них в последнее время получены с помощью технологии глубокого обучения.
«Интеллектуальная» революция 17-го года
Тема ИИ стала мегапопулярной в 2016 году, когда программа AlphaGo победила чемпиона мира в игре го, которая считается намного более сложной, чем шахматы. Это произошло на 10 лет раньше, чем прогнозировалось. Достижения программы от Google DeepMind перевели дискуссию из плоскости «возможен ли ИИ?» в плоскость «на что он способен?».
Сегодня ИИ может автоматизировать любую функцию человека с таким же качеством или выше, – уверен член клуба, доктор физико-математических наук Юрий Визильтер .
«В 2017 году все принципиальные “дыры” на пути создания полноценного ИИ были закрыты. Прежние прогнозы говорили, что этот порог будет перейден в 2025-2030 году. Но произошло это уже в апреле прошлого года , – подчеркнул Юрий Визильтер. – Есть два вида ИИ – один пытается имитировать человеческие рассуждения и представляет собой прозрачный ящик, в котором есть логика, есть познание, есть работа со структурированными моделями и с языками. Второй тип – глубокие сети, которые способны к обучению, или Черный ящик. Прежде невозможно было соединить удобным способом эти две части ИИ. В прошлом году появились глубокие нейронные сети, которые способны писать программы на логических языках, способны работать с базами логического вывода и со структурами ».
Страх перед искусственным
Сферы, в которых возможно применение искусственного интеллекта, множатся. Программы разрабатывают новые формулы лекарств, проводят сложные генетические анализы, «управляют» беспилотными автомобилями и кораблями… В обозримом будущем мы увидим искусственные личности, прообразом которых сегодня являются Siri и подобные ей программы. Уже сейчас идут эксперименты по созданию глобального ИИ на блокчейне, то есть для решения суперсложных задач будут использоваться распределенные вычисления, в том числе на частных компьютерах и устройствах. Не за горами и появление квантового искусственного интеллекта. В теории, квантовые вычислители преодолели предел досягаемости обычных компьютеров: им под силу формирование квантовых нейросетей. Если идеи разработчиков будут воплощены, это приведет к появлению ИИ нового качества.
Возможен ли выход ИИ из-под контроля? На этот вопрос Игорь Артюхов отвечает так:
«Да, уже сейчас ИИ иногда работает непонятно для разработчиков. Но и люди не всегда действуют по общепринятой логике ».
По мнению биофизика, многие опасности ИИ надуманные и являются всего лишь проекцией на машинный интеллект человеческих инстинктов, сформированных дарвиновской эволюцией. Игорь Артюхов считает, что ИИ чужд инстинкт самосохранения. К появлению «плохого» ИИ могут привести программные ошибки (а они есть в любом коде и в течение жизни алгоритма исправляются), ошибки обучения и злой умысел, т.е. опасность представляет не ИИ, а человеческая глупость.
Участники заседания пришли к выводу, что первостепенной становится задача разработки этики для ИИ и подготовки учителей для роботов.
Цифровая трансформация человека
Один из самых распространенных страхов – боязнь того, что ИИ приведет ко всеобщей безработице. Шеф-редактор журнала «Инвест-Форсайт», кандидат культурологических наук Константин Фрумкин попытался ответить на вопрос «Какую нишу на рынке труда оставит человеку ИИ?». По его мнению, бенефициар технологической революции XX века – городской интеллектуал – летит в ту же бездну, в которую попал ремесленник или крестьянин с началом индустриализации.
«В ближайшее время мы будем наблюдать вытеснение искусственным интеллектом человека из сферы умственного труда, – уверен Константин Фрумкин. – Мы уже видим трансформацию человеческих способностей, когнитивного стиля и мышления: так происходит адаптация к эпохе цифровых технологий. Символом этой адаптации стало понятие “клипового мышления “».
Однако нет доказательств, что эта адаптация позволит человеку нащупать именно те ниши, которые будут оставлены ему искусственным интеллектом. Важнейшая область, которую, как считает Константин Фрумкин, нельзя отдавать роботам – поле постановки целей. Поскольку государственная власть дигитализируется, установление приоритетов и ценностей для ИИ становится неотделимо от политики и права. Это занятие, по мнению Константина Фрумкина, способно обеспечить массовую занятость в будущем.
Интеллект искусственный, тело – человеческое
Будущее больше невозможно прогнозировать, так как скорость изменения очень высока, считает Юрий Визильтер. Однако профессор НИИ ВШЭ и специалист по data science Леонид Жуков предложил участникам встречи обсудить несколько сценариев развития.
«Я вижу два сценария развития ИИ в относительно близком будущем: трансгуманистический (технологизация естественного человека) и чисто технический (создание автономного искусственного интеллекта, АИИ), изначально искусственного , – отметил Леонид Жуков. – Второй путь – то, чем пугают человечество фантасты, живописуя образы машинной цивилизации, вытесняющей человеческую. Впрочем, поскольку загадка человеческого сознания до сих пор не разгадана, остаются сомнения, возможно ли создание такого интеллекта в принципе. Независимо от того, будет создан АИИ или нет, не трудно представить себе сегодня развитие технологии, как машинной, так и био, до такой степени совершенства, что человек, сохранив свой мозг, получит полностью искусственное тело ».
Как полагает Леонид Жуков, один из фантастических способов создания АИИ основывается на идее перезаписи человеческого сознания на искусственный носитель.
«Если такого рода технология станет возможной, нетрудно вообразить себе полностью виртуальный мир, куда, надо полагать, пожелает переселиться часть человечества (либо путешествовать по этой виртуальности, как, в сущности, уже сегодня путешествуют по игровым мирам компьютерные игроки) », – размышляет ученый.
Участники первого заседания клуба «Проектирование будущего» обозначили контуры будущих дискуссий. Впрочем, клуб будет существовать в виртуальной среде, и со всеми выступлениями можно познакомиться на сайте «Инвест-Форсайта».
Развитие искусственного интеллекта однажды приведёт к превосходству его над умственными способностями человека. Однако не станет ли это опасным для человечества? Изучить ситуацию можно в результате более точного определения понятия ИИ , взяв за основу для сравнения естественный интеллект. Может ли в одном человеке сочетаться ум и интеллект одновременно? Или же умный человек не может быть интеллектуалом и наоборот?
Такие вопросы возникают в связи с приближением эры ИИ, о возможной опасности которого человечество должно знать заранее и своевременно принять меры для обеспечения своей безопасности. В первую очередь опасность ИИ будет связана с его самостоятельностью и неконтролируемым принятием решений. На данный момент уже выделены средства для изучения этой проблемы. В институте OpenAI изучаются перспективы развития ИИ. На теперешней стадии развития систем ИИ опасность его применения может быть связана со следующим факторами:
- ошибками ПО (программного обеспечения). Любому программному обеспечению может угрожать такая опасность;
- самостоятельной активностью ИИ, вредной для человека. Опасность от ИИ может исходить после изобретения умного компьютера. Поэтому необходимо определиться со степенью ума для компьютера, которая способна быть допустимой, а также чрезмерной, представляющей опасность для человека. Эти свойства должны быть точно измерены из-за сближения умственных способностей человека и компьютера, которые неизбежны. Информационные системы, существующие сегодня, представляют собой человеко-машины, которые могут работать благодаря интеллекту пользователя либо эксперта по компьютерам.
Например, какая опасность будет исходить от интеллектуальной бухгалтерской системы, которой может выдаваться неверная информация? Опасность может возникнуть, когда у такой системы появятся элементы личности, например, собственная заинтересованность, не имеющая ничего общего с человеческой. Решением такой проблемы может быть запрет на создание систем, отличающихся возможностью эволюции.
Кроме того, опасность может быть связана с содержанием в ИИ логических ошибок. Он может использоваться для решения достаточно сложных задач, список которых сразу неизвестен. Поэтому должны быть предусмотрены специальные меры для подтверждения правильности решение, которое будет получено. Скорее всего, возникнет необходимость в разработке всевозможных способов контроля таких систем, например, специальных программных средств, которыми будет автоматически проверяться правильность решения и при этом участие человека не потребуется.