Амулеты и талисманы 

Почему ии. Чем опасен искусственный интеллект, и стоит ли его бояться. Машинное обучение – это не волшебство

Сражаясь с компьютерным противником, часто воображаешь его гораздо умнее, чем он есть на самом деле. Однако стоит приметить оплошность, и иллюзия рассеивается.

Игромания https://www.сайт/ https://www.сайт/

Мы поговорим о лучших ИИ, встречавшихся в компьютерных играх.

Ложные ИИдолы

Словосочетание «искусственный интеллект» звучит весомо и даже возвышенно. Представляется нечто загадочное и непостижимое, над чем работают настоящие гуру программирования, владеющие тайными, почти мистическими знаниями. Они наделяют машину способностью думать подобно человеку!

Однако игровой ИИ — это всего лишь набор правил и алгоритмов. Иногда сложных, иногда не очень. В качестве примера возьмём игру «Ним» , в которой двое поочерёдно берут предметы из кучек. Или крестики-нолики. В обоих случаях программа сводится к простому алгоритму: компьютер поочерёдно просчитывает все возможные ходы, а затем выбирает наиболее выгодный.

Игру го компьютер осилил с гораздо большим трудом, чем шахматы. Это стало возможно только благодаря последним успехам в области нейросетей.

Привычные нам игры, по большей части, ушли недалеко. Скажем, для стратегии в реальном времени самая сложная часть — это алгоритм поиска пути. Чтобы каждый юнит мог передвигаться и обходить препятствия, компьютер непрерывно просчитывает сотни вариантов маршрута и выбирает самый короткий.

А как же противники? Они кажутся сверхмозгом в основном благодаря искусственным преимуществам в ресурсах и возможности управлять всем хозяйством одновременно, остальное суть набор правил вроде атак волнами и последовательности постройки зданий. Опытные игроки хорошо об этом знают и неизменно находят слабые места.

Nimrod — один из первых компьютеров с графическим интерфейсом. Разрешение его «дисплея» — 4 на 7 точек, то есть 28 лампочек.

Несмотря на скромные начальные возможности, искусственный интеллект вошёл в игры почти с самого появления компьютеров — намного проще научить машину взаимодействовать с людьми в рамках жёстко заданных правил, чем в реальном мире.

Ум в предметах

В качестве примера игры с интересным ИИ часто приводят The Sims , ведь чтобы изображать повседневную жизнь людей, компьютер, наверное, должен думать как человек.

Кажется, что симы всё время о чём-то думают.

Игра умножает каждый из показателей на соответствующие нужды персонажа и пересчитывает всё в очки счастья: чем дольше сим не ходил в туалет, тем больше счастья принесёт ему комната для размышлений. Учитываются и прописанные персональные предпочтения, и расстояние до объектов. Социальная жизнь строится на том же принципе: когда кому-то из симов «станет скучно», он придёт поболтать — восполнить нужду.

Чтобы лучше представить себе этот алгоритм, создатель Sims Уилл Райт предлагает вообразить «ландшафт счастья» (happyscape): поверхность, на которой высота означает получаемое на ней количество счастья. Персонаж выбирает любой из ближайших холмов и использует манящий его предмет. Когда нужда будет удовлетворена, холм разглаживается, а сим переходит к покорению следующей вершины.

Девушка или холодильник? Пожалуй, холодильник!

Голод утолён, пора общаться — пирамида Маслоу в действии.

Иногда подопечные начинают творить откровенную ерунду — всё потому, что разработчики нарочно заложили изъян. Алгоритм берёт верхнюю часть списка нужных действий и выбирает из него случайным образом: сим может сесть смотреть телевизор, проигнорировав позывы мочевого пузыря. Если б персонажи сами отлично справлялись, это не оставило бы работы для игрока — иногда ИИ приходится нарочно портить.

Нейроны и норны

Порой разработчики пытаются создать ИИ, который действительно моделировал бы работу человеческого мозга, но таких примеров единицы. Наиболее знаменитый из них — игра о питомцах, под названием Creatures .

В 1992 году британский учёный Стив Гранд решил попробовать себя в разработке коммерческого софта. Он предлагал потенциальным инвесторам идею виртуального питомца — мыши, которая жила бы на рабочем столе Windows. Она должна была постепенно обучаться новым трюкам благодаря заложенной нейросети.

Норнам в Creatures предстоит освоить большой и красивый мир.

Позже идея превратилась в полноценную игру о виртуальных персонажах — норнах. Пушистое создание вылупляется из яйца, а человек должен помочь ему познать мир: научить каждому слову, повторяя его по много раз и показывая на то, что оно означает, а также заставлять выполнять простейшие действия, поощряя хорошее поведение. Тем не менее норны часто забывают уроки и ошибаются — это и есть огромное достижение разработчиков.

В основе искусственного интеллекта каждого питомца лежит нейросеть из тысячи нейронов, поделённая на кластеры. Каждый кластер выполняет одну из задач: чувства, фокусировка внимания, память и принятие решений. Норны ассоциируют действия с поощрениями и наказаниями и делают обобщения на основе предыдущего опыта, что помогает им действовать в новых условиях.

Общая схема мозга норна.

Поведение норнов регулируется теми же гормонами, что и у живых существ, поэтому они могут жаждать общения и развлечений, равно как чувствовать боль, голод, усталость и так далее, — всё это отражается на балансе химических элементов их крови в специальной консоли.

Каждое действие приходится втолковывать по много раз.

Так должна была выглядеть четвёртая часть Creatures, но до разработки дело не дошло.

Есть и другие примеры того, как искусственный интеллект изображает питомца со сложным поведением: вспомним гигантских зверей из Black & White , щеночков из Nintendogs или норовистого Трико из The Last Guardian . Однако имитация развития и обучения по-прежнему остаётся редкостью.

Все жаловались на капризы Трико, но разве не так ведут себя настоящие питомцы?

Вне индустрии компьютерных игр существуют научные проекты настоящей симуляции живых существ. В рамках проекта OpenWorm (на картинках) учёные воссоздали физическую модель тела круглого червя с тремя сотнями работающих нервных клеток: в виртуальном окружении червь ведёт себя так же, как вёл бы в жизни. А резонансный Human Brain Project , в который европейское правительство вложило миллиард евро, пытается воссоздать в машине человеческий мозг. Правда, до этого пока очень далеко.

Запах свежих трупов

До сих пор мы обсуждали тихие и спокойные игры. Как насчёт шутеров? В них ИИ должен принимать решения не просто на ходу, а на бегу. И пусть здесь компьютерные противники не растут и не развиваются (продолжительность их жизни чаще всего измеряется секундами), но они должны составлять достойную конкуренцию человеку. Или хотя бы не казаться слишком тупыми.

В ранних шутерах вроде Wolfenstein 3D и Doom с искусственным интеллектом всё было просто: монстры поворачивались в сторону игрока, бежали к нему и стреляли, как только он входит в комнату, — вот и весь алгоритм. В Quake их поведение уже стало достаточно сложным, чтобы игру начали критиковать за плохой ИИ.

Ом-ном-ном!

Первым же шутером, заслуживающим в этом плане внимания, стал Half-Life . Там были и дружественные персонажи, и сражения, не зависевшие от участия игрока, и прочие нетривиальные вещи. Чтобы сделать мир живым и подвижным, разработчикам из Valve пришлось написать огромное количество скриптов. Например, совсем недавно обнаружилось, что у персонажей и монстров в Half-Life есть обоняние: свежий труп в течение тридцати секунд испускает запах, и если, например, неподалёку бродит буллсквид, то он непременно прибежит полакомиться. Люди же, проходя мимо, заметят, что пахнет не очень.

F.E.A.R. . Контекстная информация в ИИ врагов позволяет им не просто действовать сообща, но прикрывать друг друга, прятаться за укрытиями вроде столов и книжных шкафов, открывать двери, выбивать окна, и так далее.

Но даже самый замысловатый ИИ в шутерах умён только при хорошо продуманных уровнях. Немалая часть «мозга» противников опять же заложена в окружение: дизайнеры уровней прописывают выгодные для стрельбы места и точки укрытий. Ну и конечно, при тестировании выявляются случаи, когда противник выбирает недосягаемую цель и печально упирается в стену. Вот такой вот интеллект!

Разработчики придумывают всё более красивые методы заставить нас думать, что мы имеем дело с равным противником. В компьютерной графике подобный обман называется «дым и зеркала», и точно так же, как компьютеру не под силу реальные оптика и физика, не может он и воссоздать интеллект человека. Приходится идти на уловки.

Впереди тем не менее всё то же непаханое поле. Да, можно обойтись и простыми скриптами — играть всё равно будет весело, но крутой ИИ полностью меняет игровой процесс. Учитывая последние достижения в области нейросетей, можно ожидать не просто улучшения разума противников в играх, но и появления совершенно новых механик.

Вспомним проект DeepMind , в рамках которого исследователи из Google ставят разные эксперименты с нейросетями, в том числе учат их играть в компьютерные игры. Всего за несколько часов компьютер становится профессионалом по одной из старых игр для Atari.

Если ждать достаточно долго, можно проникнуться своим несовершенством.

Не исключено, что, идя по этому пути, можно создать свирепейших соперников для современных игр. Или наоборот — разумных компаньонов. Кто знает?

Пытаются приблизиться к ней. Но что представляет собой искусственный интеллект с точки зрения философа? Т&P публикуют статью доктора философских наук Сергея Голенкова, который с помощью Канта и Делеза ставит под сомнение саму возможность создания мыслящей машины.

Проблема сознания заключается в парадоксальной ситуации: мы, разумные существа, обладаем сознанием, оно у нас есть, но мы не знаем что такое сознание. Мамардашвили, определяя эту ситуацию, писал: «Сознание - это парадоксальность, к которой невозможно привыкнуть». Раскрывая особенность парадоксальности сознания, он указывал на две трудности в изучении сознания. Первая состоит в том, что само понятие «сознание» является предельным философским понятием, таким как понятие «бытие». А такого рода понятия не поддаются классическому родо-видовому определению. Другая трудность проистекает из того, что сознание «весьма странное явление, которое есть и которое в то же время нельзя ухватить, представить как вещь». Однако, есть еще одно обстоятельство, делающее проблему сознания особенно сложной. Дело в том, что само сознание всегда экранировано содержанием сознания. Поясню подробнее суть этой трудности.

В свое время Кант обсуждая вопрос о природе единства содержания мысли, писал в «Критике чистого разума», что условием единства содержания нашей мысли является «трансцендентальное единство апперцепции». О чем у него здесь идет речь. Вот в руке у меня лист бумаги. Эту ситуацию содержательно можно выразить следующим образом: «сейчас я держу в руке белый лист бумаги». Это словесное выражение будем считать содержанием мысли. В этой мысли соединены содержательно различные элементы. В ней присутствует представление о времени (слово «сейчас»), представление обо мне («я»), об одном из органов моего тела («рука»), представление о некой вещи («лист бумаги»), представление о свойстве этой вещи («белый»), представление о пространственном расположении листа бумаги относительно моего тела («в руке»). Кроме выраженных представлений, в этой мысли имплицитно содержаться, то есть словесно не выражены, и другие элементы ситуации, например, качество листа бумаги. Очевидно, что это все качественно (и потому содержательно) разные представления. Одни источником имеют тактильные ощущения (качество бумаги: гладкая/шероховатая), другие моторно-двигательные (держу в руке), третьи зрительные (белый цвет листа) и так далее.

Кант задает вопрос, что позволяет разным представлениям, из которых состоит всякая мысль, образовывать целое единство этой мысли? И он отвечает - трансцендентальное единство апперцепций. Это означает, что все данное в наглядном представлении многообразие объединяется при помощи трансцендентальной апперцепции в понятие объекта. Кант говорит, что это объединение есть акт, который сопровождает всякую содержательную мысль и может словесно выражен так: «Я мыслю». Иными словами, чтобы мысль о том, что сейчас я держу в руке белый лист бумаги, не распадалась на различные по содержанию представления, а была одной мыслью, эта мысль должна всегда сопровождаться актом мышления «Я мыслю».

Это «Я мыслю» и есть действие сознания в нас. Но трудность познания этого акта состоит в том, что акт «Я мыслю» всегда экранирован содержанием сознания «сейчас я держу в руке белый лист бумаги». И даже если мы обратим внимание на сам этот акт, то он становится содержательной мыслью, которая, чтобы быть единой, сама должна сопровождаться актом «Я мыслю». В этом случае мы имеем следующее словесное выражение «Я мыслю, что Я мыслю», где второе «Я мыслю» уже содержание мысли, для которой условием является акт первого «Я мыслю». Несмотря на то, что оба эти выражения одинаково составлены из одинаковых слов, это, несомненно, две разные «вещи». Первая выражает акт мысли, вторая - ее содержание. И для их познания нужны разные методы и инструменты. Здесь мы попадаем в ситуацию, которая хорошо известна в физике элементарных частиц (квантовой механике), когда невозможно одновременно, одними и теми же приборами, одними и теми же методами описать положение элементарной частицы и ее импульс (то есть указать вектор ее движения и скорость). Либо мы знаем, где находиться частица, но не знаем ее скорости в данный момент и направление движения, либо знаем вектор и скорость, но не знаем ее место положения.

Акт «Я мыслю» представляет собой некое существование, соотнесенное с сознанием, которое Мамардашвили и Пятигорским было названо «состояние сознания». Термином «состояние сознания» они обозначали по преимуществу независимое от любого мыслительного содержания «состояние нашего психофизиологического механизма, соотнесенного с сознанием». Замечу, что состояние, описываемое термином «мыслю» («Я мыслю»), принадлежат к тому же классу, что состояния «наблюдаю», «вспоминаю», «воспринимаю», «воображаю» и тому подобное. Это все состояния, так или иначе, связанны с сознанием, сознание в них присутствует.

Присмотримся теперь внимательнее к этому классу состояний сознания. В качестве примера рассмотрим состояние сознания «Я наблюдаю стол». Что мы в нем можем обнаружить? Прежде всего, то, что оно по своему составу не однородно. Есть элемент в этом состоянии, который связан с внешне данной вещью, данность которой определяет содержание нашего состояния. То, что мы наблюдаем (мыслим, вспоминаем и так далее) - стол. В акте наблюдения то, что обозначено термином «стол» составляет содержание этого акта, этого состояния сознания. И это содержание наблюдения (содержание состояния сознания) не определено внешней вещью. Стол, как наблюдаемое мною тело, не задает содержание того, что именно я наблюдаю.

Отсюда следует, что содержание наблюдения тела как явления осознаваемого, определяется не самим этим телом, а полностью задается сознанием. Особо подчеркну, не существование тела задается сознанием, а содержание наблюдения тела. Это означает, что в состоянии сознания «Я наблюдаю стол», стол выступает содержательным элементом наблюдения и, стало быть, находится «в» сознании как содержание наблюдения. Следуя традиции после Гуссерля, наблюдаемый стол является интенциональным предметом. Интенциональный предмет, в нашем случае «стол», составляет содержание сознания, он коррелятивен с реально существующим столом, но задан сознанием.

Обратим внимание на то, что пребывание в состоянии «Я наблюдаю стол» содержит в себе два «элемента»: реальный стол и «интенциональный» стол. А между ними зазор. И этот зазор непроходим для мысли, точнее, он не может быть преодолен интеллектуальными средствами, так как в него включены элементы, не принадлежащие мышлению. Какие это элементы? Мамардашвили и Пятигорский в своей работе называли один такой элемент - это «наш психофизиологический механизм». Очевидно, что без него невозможно состояние «Я наблюдаю стол». Укажу еще на ряд таких элементов. Состояние наблюдения (восприятия, воображения, мышления и так далее) - это состояние нашего существования, бытийное состояния. Специфика нашего существования - сознательного существования - в философской традиции после Хайдеггера определяется термином «экзистирование». Экзистирование - это существование способом понимания собственного существования. В чем специфика такого существования, «существования пониманием»? Что такое понимание?

Понимание можно рассмотреть как «внимание», «внятие», «принятие», «впускание», «ассимиляцию» некоего сущего в себя. Когда я понимаю некое сущее, например, когда я понимаю (или не понимаю) предмет своего наблюдения как стол, то тем самым я принимаю (или не принимаю) это сущее как/в содержание моего состояния. Иначе говоря, понимание здесь выступает своеобразным испытанием как модусом моего бытия, экзистирования. И этот модус по природе своей амбивалентен. С одной стороны, понимая (внимая, принимая и так далее) сущее, я испытываю себя на способность понять сущее, а, с другой - я испытываю само сущее на его истину, выведывая ее у сущего. Понимание предстает в этом случае в виде проверки на способность быть и себя, и сущего. Иными словами, в состоянии сознания в качестве необходимого элемента включены не только интеллектуальные процедуры, но и мои бытийные (и онтологические, и онтические) характеристики. В частности в понимании «участвует» такая структура как бытие-с-другим. Рассмотрим подробнее, каким образом эта бытийная структура определяет состояния сознания и его содержания.

В качестве примера такого влияния сошлюсь на анализ восприятия - а это состояние, как я уже отмечал выше, того же класса, что и наблюдение - в работе Жиля Делеза «Мишель Турнье и мир без Другого». В этой работе Делез показывает как другой в качестве элемента совместного бытия определяет мое восприятие. Прежде всего, отмечает Делез, другой оказывает организующее воздействие на мое поле восприятия предметов и идей. Это организующее воздействие проявляется в том, что узнаю или чувствую воспринимаемый предмет в качестве определенного предмета, то есть такого, который отличается от другого предмета. Я могу не знать и не понимать существа отличия одного предмета от другого. Я лишь фиксирую само отличие. Вот именно для восприятия отличия, границы другой и предоставляет мне возможность различения. Он выступает условием способности различения, разграничивания.

Рассмотрим этот момент подробнее. Разделим акт восприятие на последовательные шаги от начала до узнавания предмета: акт получения перцептивных ощущений от воспринимаемого предмета (выявление фигуры на фоне); акт «фокусирования» внимания на выделенном предмете (все остальные предметы сливаются в неразличимый фон); акт терминирования выделенного предмета, его словесное обозначение и акт интерпретации (то есть «узнавания» предмета), как акт включения значения (оно фиксировано термином) предмета в систему уже существующих значений (например, в систему языка). Таким образом, мы имеем четыре шага определения предмета в восприятии. Отвлечемся сейчас от того, что можно по-иному членить этот процесс. Здесь важно, что этот процесс имеет шаговую (или звеньевую, или этапную - или какую-нибудь еще) структуру. Важно подчеркнуть то обстоятельство, что между шагами, звеньями, этапами существуют зазоры. Они важны как раз тем, что в этих зазорах пребывает нечто, что, с одной стороны, не является структурным элементом восприятия, а с другой - без них восприятие не может быть реализовано. Другой как раз и выступает необходимым элементом восприятия. Поясню этот тезис.

Посмотрим на зазор, который находиться между актом сосредоточения внимания на предмете и актом называния предмета, наделения его именем. Для того чтобы этот переход состоялся необходимо, чтобы уже существовали слова, существовала речь, существовал язык, существовала культура называния, культура говорения. А все это возможно, только если существует другой. Более того, существование другого уже необходимо между первым и вторым шагом, чтобы состоялся процесс узнавания воспринятого предмета. Это Делез и имеет в виду, когда говорит, что другой выступает условием различения предметов и идей.

Фигуру другого в процессе восприятия нельзя интерпретировать «ни как объект в поле моего восприятия, ни как субъект меня воспринимающий» (хотя эмпирически, если другой человек находится в момент моего восприятия, он может быть такими объектом и субъектом). Так чем же в таком случае является другой? Делез пишет: «… Это прежде всего структура поля восприятия, без которой поле это в целом не функционировало бы так, как оно делает». Без этой структуры - структуры другого - восприятие не могло бы состояться. Эту структуру другого он называет «априорный Другой». Априорный, поскольку эта структура уже существует до всякого реального восприятия, выступая его условием. Функция этого априорного Другого (или структуры другого) состоит в том, чтобы выступать основанием других, которые будут осуществлять эту структуру в каждом конкретном поле восприятия. Иными словами, эта структура дает возможность состояться опыту конкретного восприятия. Поэтому эту структуру - структуру другого - Делез называет «структурой возможного». «Другой как структура, это выражение возможного мира».

Интересно посмотреть, что производит структура другого («априорный Другой» у Делеза) в таком состоянии сознания как восприятие. Главное следствие действия этой структуры, считает Делез, это разграничение моего сознания и его объекта. Поскольку другой вносит в мир различения, границы, кромки, переносы, которые обеспечивают появление предмета в поле восприятия, то этот предмет, в качестве воспринимаемого отделен от сознания и ему противостоит. Иначе говоря, возникают феномены «воспринимающий» (то есть сознание) и «воспринимаемый» (то есть предмет). До этого сознание и его объект были слиты в одно целое и их не существовало в качестве отдельных феноменов. Именно другой обеспечивает разграничение сознания и его объекта. Далее, становление разграничения сознания и его объекта есть одновременно возникновение пространства, так как возникают различные места - «здесь» и «там». Мое сознание (или «воспринимающий Я») занимает место «здесь», а воспринимаемый предмет занимает место «там». Наконец, появление другого превращает мой мир в прошлый мир, опрокидывает мое сознание в позицию «я был». Другой приносит с собой возможный мир и тем самым вносит в мир временные разграничения. Возникает время в своих феноменах прошлого, настоящего и будущего.

Упомяну еще один элемент, который находится в состоянии сознания и обеспечивает как само существование этого состояния, так и его содержание. В своей работе почти полувековой давности «Анализ сознания в работах Маркса» Мамардашвили показал, что сознание, по Марксу, есть «функция, атрибут социальных систем деятельности», и что содержания и формообразования сознания производятся «из переплетения и дифференциации связей системы (социальной деятельности - С.Г.), а не из простого отображения объекта в восприятии субъекта». Иными словами, содержания сознания (и мышления, как феномена сознания) являются производными от системы социальной деятельности человека. Таким образом, состояния сознания включают в себя как необходимый элемент социальную составляющую индивидуального бытия, то есть ту систему общественных связей, в которую включен индивид как социальный субъект. Элементы, которые были рассмотрены - зазор между реальной вещью и интенциональным предметом, социальная система, структура другого в работе сознания (и мышления) - свидетельствуют о неконтинуальности сознания (мышления).

Зазор, который содержит в себе неинтеллектуальные компоненты не может быть преодолен за счет работы мысли. Он преодолевается лишь индивидуальным усилием быть - испытанием бытия/бытием - как актом не интеллектуальным, а экзистенциальным. Иначе говоря, «работа» мысли требует в качестве необходимых условий жизненные (физиологические, психические, социальные и так далее), а не только интеллектуальные элементы. Это обстоятельство и позволяет поставить под сомнение попытки создания искусственного интеллекта.

Читайте в Bookmate:

Когда люди наблюдают за техникой, которая ведёт себя подобно человеку и компьютерами, которые обрабатывают титанические объёмы данных, возникает немало мыслей о будущем. Приличная их часть основана на теме порабощения человеческой расы.

Научно-фантастическая литература и кинематограф от «2001: Космическая одиссея» (1968) до «Мстители: Эра Альтрона» (2015) прогнозируют, что искусственный интеллект превзойдёт ожидания создателей и выйдет из-под контроля. Якобы его целью станет не просто конкуренция с человеком, а порабощение и истребление нашего вида.

Научная фантастика или страшное будущее?

Конфликт между людьми и искусственным интеллектом основная тема научно-фантастического сериала «Люди», третий сезон которого вышел в этом году. В новых эпизодах «синтетические» люди сталкиваются с враждебностью обычных людей, которые относятся к ним с подозрением, страхом и ненавистью. Насилие бушует. «Синты» воюют за свои основные права против тех, кто считает их нечеловечными.

Фантастика – крайность воображения. Но и в реальном мире не все желают встречать ИИ с распростёртыми объятиями. В последние годы границы воображаемых возможностей искусственного интеллекта активно раздвигаются. Люди все чаще говорят о его опасности. А предположения о том, что технологии способны обречь человечество, кажутся реальнее. Искусственный интеллект пугает нас.

Мнение об искусственном интеллекте

Илон Маск – один из самых заметных людей, которые призывают к осторожности, обсуждая ИИ. В июле прошлого года на встрече Национальной ассоциации губернаторов он сказал: «Я обладаю большим опытом работы с технологичными ИИ и думаю, что человечеству действительно необходимо об этом беспокоиться. Я продолжаю давать сигнал тревоги. Пока роботизированные машины не пойдут по улицам, уничтожая людей, мы не поймём, как на это реагировать, потому что такая перспектива воспринимается как нереальная».

В 2014 году, Маск называл искусственный интеллект «нашей самой большой экзистенциальной угрозой», а в августе 2017 заявил, что для человечества ИИ представляет больший риск, чем северокорейская идеология.

Величайший физик Стивен Хокинг также выражал беспокойство по поводу злоумышленного применения искусственного интеллекта. В 2014 году он сообщил BBC, что «развитие полноценного ИИ может стать предзнаменованием конца для человечества».

Ещё один удар нанесла команда программистов из MIT Media Lab в Кембридже, которая решила доказать, что ИИ опасен. Нейронная сеть Nightmare Machine («Машина кошмаров»), представленная в MIT в 2016 году, превратила обычные фотографии в ужасные демонические пейзажи. Искусственный интеллект под названием Shelly (так же разработан в MIT), сочинил 140 000 рассказов в жанре ужасов, которые пользователи Reddit публиковали на форуме r/nosleep.

«Нас интересует, как искусственный интеллект вызывает эмоции, конкретно в этой ситуации он спровоцировал страх» — прокомментировал эксперимент Мануэль Себриан, менеджер по исследованиям MIT Media Lab.

Почему мы боимся?

По мнению Килиана Вайнбергера, доцента кафедры информатики в Корнельском университете, негативные впечатления от искусственного интеллекта делятся на две категории:

Идея о том, что ИИ станет сознательно-независимым и попытается уничтожить нас.
Мнение, что злоумышленники будут использовать ИИ в своих целях.

«Искусственный интеллект пугает нас, потому что мы думаем, что супериндустриальный ИИ, став умнее человека, будет относиться к нему, как к низшему существу. Так же, как мы – к приматам. И это, конечно, крайне волнительно для человечества».

Однако Вайнбергер отмечает, что опасения по поводу превосходства и желания ИИ уничтожать расу базируются на неправильных представлениях об этой технологии. Искусственный интеллект впечатляет, когда мы видим его в действии. Но он имеет и массу ограничений. ИИ определяется алгоритмами. Они задают его поведение с помощью предписанных функций и не более того.

Нейронные сети выполняют сложные задачи с несколькими видами данных. Но большинство навыков, которыми человек обладает, даже не развивая их намеренно, для машинного интеллекта недоступны.

Искусственный разум может во много раз превзойти человека в выполнении специализированных работ. Например, игре в шахматы, идентификации объектов по изображению или большому анализу данных в бухгалтерии или банковском секторе.

У ИИ, который бы обладал самостоятельным сознанием, не будет такого прогресса, что он поработит человечество. И нет оснований считать, что подобный прогресс появится в скором будущем — добавляет Вайнбергер.

Но есть ещё одна тема о том, почему искусственный интеллект пугает нас – это использование возможностей ИИ людьми с плохими намерениями. Этот сценарий более реален и опасен.

Рационален ли наш страх?

В мире телесериала «Люди» человечество испытывает страх перед разумным ИИ и вступают в ожесточённую конфронтацию с ним. И, судя по популярности проекта, этот сюжет отвечает на актуальный запрос общества.

Боязнь технологий нельзя назвать необоснованной, поскольку определённый риск, безусловно, присутствует. Но опасность любого инструмента заключается в мыслях того, кто им управляет. Очевидно, именно этот вопрос необходимо решить человечеству, чтобы искусственный интеллект служил во благо.


Сегодня человечество переживает четвертую промышленную революцию, которая характеризуется достижениями в области робототехники и беспилотной автомобильной техники, распространением умных бытовых приборов и т. д. И «впереди планеты всей» находится искусственный интеллект (ИИ), являющийся развитием автоматизированных компьютерных систем, которые могут соответствовать или даже превосходить людей в интеллекте. ИИ считается следующей глобальной технологией - настолько глобальной, что будущие технологии будут зависеть от нее. Но все не настолько гладко с искусственным интеллектом, есть ряд очень спорных моментов, по поводу которых есть весомые опасения.

1. Беспилотный автомобиль может быть запрограммирован на то, чтобы убить водителя


Предположим, человек едет по дороге. Затем внезапно на дорогу перед машиной выскакивает ребенок. Водитель нажимает на тормоза, но они не срабатывают. Тогда у него есть два варианта: или сбить ребенка, или свернуть в столб, при этом разбившись насмерть. Большинство людей согласны с тем, что предпочтут свернуть в столб, на верную смерть. Однако, теперь стоит представить, что автомобиль беспилотный, и человек едет в роли пассажира. Захочет ли он, чтобы авто само свернуло в столб, убив его... Большинство людей, которые согласились, что они сами готовы разбиться, спасая жизнь ребенка, заявили, что они не хотят, чтобы машина самостоятельно свернула в столб, убив их. Более того, они утверждают, что даже не купят такой автомобиль, если будут знать, что он подвергнет их риску в результате несчастного случая. Это приводит к закономерному вопросу: что нужно делать машине, и как ее нужно программировать. Что самое интересное, производители беспилотных автомобилей уклоняются от ответа на подобный вопрос.

2. Роботы могут потребовать равных прав с людьми


С нынешними тенденциями развития искусственного интеллекта вполне возможно, что роботы достигнут стадии самоосознания. Когда это произойдет, они могут потребовать равных прав с людьми. То есть, они будут нуждаться в жилищных и медицинских услугах, а также потребуют, чтобы им разрешили голосовать, служить в вооруженных силах и получать гражданство. Подобные результаты были опубликованы в качестве результата UK Office of Science и Innovation’s Horizon Scanning Center еще в 2006 году, когда ИИ был гораздо менее развит. Ожидалось, что машины достигнут уровня самоосознания через 50 лет (т.е. уже через 40 лет).

3. Автоматические роботы-убийцы


Под фразой «автоматические роботы-убийцы» обычно подразумевают роботов, которые могут убивать без вмешательства людей. При этом не учитывают дронов, потому что они контролируются людьми. Один из автоматических роботов-убийц, о которых сейчас идет речь, - это SGR-A1, сторожевая турель, разработанная Samsung Techwin (ныне Hanwha Techwin) и Корейским университетом. SGR-A1 напоминает огромную камеру наблюдения, за исключением того, что она оснащена мощным пулеметом, который может автоматически открывать огонь по цели. SGR-A1 уже используется в Израиле и Южной Корее, которая установила несколько турелей вдоль своей демилитаризованной зоны (DMZ) с Северной Кореей. Тем не менее, Южная Корея отрицает активацию автоматического режима, который позволяет машине самой решать, кого убивать, а кого нет. Вместо этого турели находятся в полуавтоматическом режиме, при котором они обнаруживают цели, после чего требуется подтверждение оператора-человека для того, чтобы начать огонь.

4. Военные роботы могут переходить на сторону противника


В 2011 году Иран захватил американский беспилотный самолет-невидимку RQ-170 Sentinel в неповрежденном состоянии. При этом беспилотник не был сбит - Иран утверждает, что самолет «приземлили» посредством подмены GPS-сигнала (заставив его «думать», что он находится на дружественной территории). Дроны, GPS и роботы основаны на компьютерах, и, как все знают, компьютеры можно взломать. Военные роботы ничем не будут отличаться, если они когда-либо будут применяться на поле боя. Фактически, есть все возможности, что вражеская армия попытается взломать роботов и использовать их против «хозяина». Автономные роботы-убийцы еще не получили широкого распространения, поэтому примеров их взлома пока нет. Но стоит себе только представить, что будет, если армия роботов внезапно повернется против своих хозяев.

5. Боты для распространения пропаганды в Twitter


Боты захватывают Twitter. Исследования Университета Южной Калифорнии и Университета Индианы показали, что около 15% (48 миллионов) из всех учетных записей Twitter управляются ботами (при этом Twitter настаивает на том, что этот показатель составляет около 8,5 процента). Чтобы внести ясность, не все эти боты плохие. Некоторые из них действительно полезны. Например, есть боты, которые информируют людей о стихийных бедствиях. Однако есть и такие, которые используются для пропаганды. В качестве примеров можно привести ботов, которые подталкивали избирателей к голосованию за Дональда Трампа во время выборов в 2016 году, а также избирателей Великобритании к тому, чтобы проголосовать за выход из Европейского Союза во время референдума Brexit 2016 года.

6. Машины займут рабочие места людей


Несомненно, машины однажды будут работать на большинстве мест, на которых сегодня работают люди. Однако, никто не знает, когда это случится и в какой степени. По словам ведущей консалтинговой и аудиторской фирмы PricewaterhouseCoopers (PwC), роботы оккупируют 21 процент рабочих мест в Японии, 30 процентов рабочих мест в Великобритании, 35 процентов рабочих мест в Германии и 38 процентов рабочих мест в Соединенных Штатах Америки в 2030 году. А к следующему столетию они займут более половины рабочих мест, доступных людям. Самым пострадавшим сектором будет транспортировка и хранение, где 56 процентов рабочей силы будут машинами. За ним следуют производственный и розничный сектора, где машины займут более 46 и 44% всех имеющихся вакансий. Говоря о том «когда это случится», предполагается, что к 2027 году машины будут управлять грузовиками, а к 2031 году работать в розничных магазинах. К 2049 году они будут писать книги, а к 2053 году выполнять операции. Только несколько профессий не «пострадают» от нашествия машин. В качестве одного из примеров можно привести вакансию священника.

7. Роботы научились обманывать


Подобно своим создателям, роботы учатся обманывать. В ходе одного из экспериментов исследователи из Технологического института Джорджии в Атланте разработали алгоритм, позволяющий роботам решать, следует ли обманывать других людей или роботов. Если роботы решали пойти по пути обмана, исследователи включали алгоритм, позволяющий роботу решить, как обманывать людей и роботов, уменьшая вероятность того, что человек или робот узнают об обмане. О подробных результатах эксперимента информации не поступало, кроме того, что он был успешен. Этот эксперимент был организован Управлением США по морским исследованиям, что означает, что потенциально лгущие роботы могут применяться в военных целях.

8. Рынок ИИ монополизирован


Рынок ИИ монополизируется. Крупные компании покупают небольшие старт-апы по разработке ИИ с угрожающей скоростью. При нынешних тенденциях ИИ будет окончательно доработан очень небольшим количеством корпораций. По состоянию на октябрь 2016 года в отчетах указывалось, что крупные компании, такие как Apple, Facebook, Intel, Twitter, Samsung и Google, приобрели 140 предприятий по разработке искусственного интеллекта в течение последних пяти лет. В первые три месяца 2017 года крупные технологические компании купили 34 старт-апа ИИ. Что еще хуже, они также платят огромные деньги, чтобы нанять лучших ученых в области искусственного интеллекта.

9. ИИ превзойдет людей в интеллекте


Искусственный интеллект подразделяется на две группы: сильный и слабый ИИ. ИИ, который существует сегодня, классифицируется как слабый ИИ. Он включает в себя «умных помощников» и компьютеры, которые побеждают шахматных гроссмейстеров с 1987 года. Разница между сильным и слабым ИИ - это способность рассуждать и вести себя как человеческий мозг. Слабый ИИ обычно выполняет то, на что его запрограммировали, а сильный ИИ обладает сознанием и способностью мыслить, как человек. Он не ограничивается рамками своей программы и может сам решать, что делать, а чего не нужно делать без участия человека. На данный момент сильного ИИ не существует, но ученые предсказывают, что он должен появиться примерно через десять лет.

10. ИИ может уничтожить людей


Есть опасения, что в мире может наступить Апокалипсис, точно так же, как это произошло в фильме «Терминатор». Предупреждения о том, что ИИ может уничтожить людей, исходят не от каких-то «диванных аналитиков» или теоретиков заговора, а от таких выдающихся профессионалов, как Стивен Хокинг, Илон Маск и Билл Гейтс. Билл Гейтс считает, что ИИ станет слишком умным, чтобы оставаться под контролем людей. Аналогичного мнения придерживается Стивен Хокинг. Он не думает, что ИИ внезапно устроит «кровавую баню». Скорее, он полагает, что машины уничтожат людей, став слишком компетентными в том, что они делают. Конфликт людей с ИИ начнется с того момента, когда его цель больше не будет совпадать с нашей. Илон Маск сравнивает распространение ИИ с «вызовом демонов». Он считает, что это самая большая угроза для человечества. Чтобы предотвратить Апокалипсис и вымирание людей, он предложил, чтобы правительства начали регулировать развитие ИИ, прежде чем коммерческие компании «сделают большую глупость».

К слову, о достижения инженеров компании Илона. Совсем недавно , тем самым доказав, что подобные автомобили очень скоро заменят привычные машины на двигателе внутреннего сгорания.

Пока менеджер Илон Маск паникует и пытается создать комитеты слежения за искусственным интеллектом во имя спасения человечества, профессиональные инженеры из IEEE заставили всех соблюдать законы робототехники. Хочешь проектировать ИИ? Только если обеспечишь безопасность.

Причем тут Илон Маск и Марк Цукерберг?


Еще 15 июля Илон Маск призвал американских губернаторов создать организацию для слежки за системами искусственного интеллекта. Мотив простой - по мнению Маска , рано или поздно они уничтожат человечество. Но мы еще этого не замечаем:

Илон Маск:

Пока люди не видят роботов, убивающих людей на улицах, они не знают, как реагировать, потому что такой сценарий кажется им нереалистичным.


Парадоксальное выступление от человека на острии науки, правда? Его высмеял даже Цукерберг. Невольно задумываешься - он вообще понимает, о чем говорит? Действительно ли он в состоянии проектировать будущее? Или, может быть, за этим предложением прячется желание законодательно одобренного шпионажа для получения новейших разработок?

Спи сладко, Илон. Спи сладко, читатель. За тебя уже все сделали в IEEE. ИИ больше не навредит.

Кто такие IEEE?


IEEE - , международная некоммерческая организация-разработчик стандартов по радиоэлектронике, электротехнике и аппаратному обеспечению вычислительных систем и сетей.

Фактически, организация обобщает и приводит к общему знаменателю разрозненные разработки, превращая их в единую систему: как для справки, так и для развития. С помощью этих стандартов разные разработчики получают возможность проектирования совместимых с чужими систем. Среди самых известных стандартов IEEE:

  • IEEE 1294 - USB,
  • IEEE 1394 - FireWire (i-Link),
  • IEEE 802 - семейство сетевых протоколов.

Последний знаком даже простым пользователям - вспомните, как называется версия Wi-Fi?

Как IEEE планирует регулировать ИИ


IEEE выпустила три новых стандарта, регулирующие этические вопросы работы систем искусственного интеллекта при обработке данных и взаимодействии с окружающим.

Документы относятся к разряду обязательных стандартов сообщества и были разработаны в рамках стандартизации работ по изучению этических аспектов ИИ и самоуправляемых автомобилей .

Содержимое стандартов объемно и содержит преимущественно информацию для разработчиков. В основе текстов - постановка этических проблем при обработке данных искусственным интеллектом и способы их решения.

В результате IEEE предложила готовую матрицу для программирования систем с учетом интересов и моральных норм человечества.

Что описывают стандарты IEEE о искусственном интеллекте?


Один из стандартов, IEEE P7004 , описывает правила сертификации и контроля тех организаций и систем, которые обрабатывают данные о детях и студентах. IEEE P7005 регулирует работу с данными о наемных работниках.

При его соблюдении ИИ и организации, работающие с данными, обязаны действовать, основываясь на безопасности и благополучии - даже с теми, что находятся в свободном доступе. Так же IEEE описала обязательные нормы, которым должны соответствовать доступ, сбор, хранение, использование, совместное использование и уничтожение данных о детях и учащихся.


Третий стандарт IEEE P7006 описывает для создание и контроль работы персонализированных ИИ-агентов - посредников в принятиях решений между несколькими компьютерами или системами. Методология разработки и технические элементы, заложенные в стандарте, должны исключить любые проблемы в работе интеллектуального аппарата.

Роботы не убьют человеков. IEEE всех спасли


Самое интересное кроется в стандарте IEEE P7006 . Он не просто описывает способы сертификации и задает законы робототехники - он процедуру, принцип работы искусственного интеллекта, связывающего человека и машину:

  • как должен работать ИИ-агент;
  • как должен предоставляться доступ к нему;
  • как должна вводиться информация;
  • как должно проходить обучение ИИ;
  • какие нормы этические нормы, правила и ценности должен заложить разработчик.

Первая версия стандарта если не введет 3 закона робототехники в обязательные для исполнения правила, то хотя бы минимизирует возможный вред. По мере развития технологий P70006 станет единым правилом, которое обеспечит защиту личности и безопасность всего человечества.

А если я не хочу соблюдать стандарт?

Стандарты IEEE как правило принимаются всем сообществом, и через некоторое время либо становятся универсальным документом для всех использующих технологию, либо превращаются в документ другой организации - при сохранении функций.


Соблюдение стандартов IEEE необходимо не только для получения бумаг от официальных структур. Многие принципы, заложенные в них, обеспечивают совместимость систем различных разработчиков. Кроме того, они работают в качестве сертификата соответствия, говоря о надежности продукта.