3 мифа об искусственном интеллекте


Содержание

7 мифов об искусственном интеллекте

Среди технологических разработок Google на днях представила обновленного голосового помощника, который может сам позвонить и забронировать столик в ресторане, купить билеты, заказать пиццу или новые кроссовки — звучит почти как магия. Искусственный интеллект окружен мифами: одни видят в нем спасителя, другие — угрозу человечеству, третьи — универсального помощника на все случаи жизни, четвертые — волшебную машину для решения любых проблем бизнеса. Заместитель директора по исследованиям и разработкам компании ABBYY Татьяна Даниэлян отделяет правду от научной фантастики и развенчивает 7 популярных мифов об ИИ.

Искусственный интеллект и роботы — одно и то же

Роботы — это аппаратные или программные комплексы, которые используют, чтобы ускорить и упростить работу людей в сложной, а иногда и опасной среде. Если провести аналогию с человеком, то роботы — это руки: они передвигают предметы, собирают детали, работают с опасными веществами; примеры — робот-спасатель Фёдор или робот-сборщик мебели из IKEA. В офисах работают программные роботы — самообучающиеся приложения, которые повторяют действия человека в интерфейсе компьютера: копируют и вводят данные в базы, извлекают контактную информацию о клиентах из писем и документов, заполняют формы и отчеты, выполняя монотонные механические действия в несколько раз быстрее любого офисного работника. Такие программы внедряет в банках стартап UiPath: роботы собирают информацию об активах, доходах и расходах клиента и наполняют ею базу для оформления кредитных заявок, а еще могут в реальном времени отслеживать подозрительные активности по счетам и блокировать сомнительные транзакции.

Искусственный интеллект — это уже не «руки», а «голова». Более «умная» технология, которая может решать сложные нелинейные задачи: оценивать качество продукции, одобрять кредиты, анализировать закупочную документацию и выбирать лучшего поставщика, читать резюме и подбирать для компании персонал и т.д. Робот-рекрутер Вера — на самом деле не робот, а сервис на основе технологий искусственного интеллекта.

Промышленные и программные роботы могут работать в связке с ИИ. Такая связка технологий называется интеллектуальной автоматизацией, когда ограниченные возможности роботов дополняются технологиями компьютерного зрения, обработки естественного языка, распознавания речи и т.д. Прежде чем начать проект с использованием интеллектуальных технологий, полезно разобраться, какую проблему вы хотите решить с их помощью. Для рутинных, повторяющихся, предсказуемых задач лучше подойдут роботы. Для более сложных, нетипичных бизнес-процессов потребуется искусственный интеллект или сочетание ИИ с программными роботами.

Достаточно научить ИИ работать на небольшом количестве данных — и можно запускать его в промышленную эксплуатацию

Для полноценной работы ИИ нужно решить целый комплекс задач: выбрать большой объем подходящих данных, архитектуру и настройки сети, провести обучение сети, выявить возможные ошибки и т.п. Это итерационный процесс: обучить, найти ошибки, обучить еще раз. При этом данные устаревают, а задача может изменяться в процессе обучения.

Например, если беспилотный автомобиль при разработке тренировали только в дневное время и при солнечной погоде, он может не справиться с управлением ночью или в туман — для его обучения потребуется новый набор данных. Так, например, «тренируется» Google Waymo: сигналы светофора, пешеходы и полицейские, парковка — все это для автомобиля разные образовательные «дисциплины», и для каждой требуется отдельный набор данных. А для интеллектуальной технологии оценки качества пиццы, которую внедрила пиццерия «Папа Джонс», потребовалось 700 тыс. снимков пиццы, которые компания собирала 10 лет, — точность экспертизы гарантирует непрерывное обучение системы.

ИИ моментально принесет прибыль компании

В среднем проекты с использованием искусственного интеллекта начинают приносить доходы не раньше, чем через полгода. Так, производитель мотоциклов Harley Davidson сообщил о росте продаж в Нью-Йорке на 40% — результатов они смогли достичь, полгода анализируя предпочтения клиентов с помощью интеллектуальных алгоритмов. Розничная сеть «М. Видео» благодаря искусственному интеллекту увеличила продажи в онлайн-магазине на 30%, но это произошло только через 9 месяцев после начала проекта. В банке ВТБ элементы искусственного интеллекта в 2,5 раза быстрее обрабатывают данные из документов, что поможет банку обслуживать на 25% больше клиентов, — но результаты можно будет увидеть только через год. Если вы планируете применить искусственный интеллект в бизнесе, стоит относиться к такому проекту, как к среднесрочной инвестиции.

ИИ отберет у людей работу

Физик Стивен Хокинг высказывал опасения, что ИИ заменит людей. Есть задачи, которые можно автоматизировать на 60-70%; некоторые интеллектуальные сервисы (например рекомендации в онлайн-магазинах или музыкальных приложениях) могут работать без дополнительного контроля человека.

Но если верить данным нового исследования Организации экономического сотрудничества и развития, такая сильная автоматизация возможна лишь для 14% профессий. Это или опасная и физически тяжелая работа (добыча ископаемых, строительство, производство), или, если речь идет о работе в офисе, повторяющиеся задачи, связанные с поиском и первичной обработкой информации (как поиск документов в корпоративных системах не по ключевым словам, а по смыслу).

Поэтому не стоит надеяться, что в обозримом будущем вы сможете заменить всех своих сотрудников искусственным интеллектом. Скорее, ИИ повлияет не на количество рабочих мест, а на само содержание работы. И успех в этом случае возможен, если сотрудники тесно взаимодействуют с технологиями, контролируют качество их работы, делегируют им рутинные действия, а сами выполняют более творческие и интеллектуальные задачи.

ИИ доступно творчество

ИИ может неплохо подражать творчеству людей. Например, нейросеть может создать трехсекундный мультфильм по текстовому описанию. Проекты The Next Rembrandt, НейроСкрябин создают произведения, похожие на творчество Рембрандта и Скрябина. Новинка Gmail Smart Comprose может дописывать за вас предложения, строя предположения на основе сотен и тысяч писем, которые люди отправляли раньше.

Но все подобные произведения ИИ так или иначе похожи на что-то, что мы уже видели или слышали. Машина еще не может сама написать книгу, создать новый стиль одежды или оригинальное музыкальное произведение. Но саму способность подражать, создавать похожее, но не одинаковое, можно использовать во благо бизнеса. Так, с помощью ИИ уже создают новые модели одежды в стиле Tommy Hillfiger, рисуют ландшафты в видеоиграх и пишут короткие новостные заметки с жесткой структурой в The Washington Post.

ИИ может быть непредвзятым и беспристрастным

Машинным обучением занимаются люди, а люди по своей природе не беспристрастны. Система зависит от количества и качества данных, которые используются при обучении, и если информации недостаточно, результаты работы ИИ будут заведомо необъективными. В эту «ловушку» попал разработчик первого ИИ на конкурсе красоты Beauty.AI: в наборе фотографий, по которой машина училась определять стандарты красоты, было недостаточно чернокожих людей, и робот сделал вывод, что светлый цвет кожи является признаком привлекательности. В похожей ситуации оказался чат-бот Microsoft, который обучался общению у пользователей Twitter в возрасте от 18 до 24 лет и очень быстро научился писать скандальные посты и оскорблять людей.

Хотя существование объективного ИИ невозможно, может появиться «объясняемый ИИ» (explainable AI). Если создать более прозрачную технологию и научиться показывать результаты работы ИИ в доступной форме, люди (не только специалисты по машинному обучению) смогут понимать, на чем основаны те или иные гипотезы машин. Для бизнеса это означает, что ИИ вскоре может стать не просто «черным ящиком», а полноценным аналитическим инструментом, который будет предлагать варианты решения, подкрепленные аргументами. Так, при подготовке маркетинговой кампании с помощью ИИ система сможет не только анализировать информацию о покупателях и прогнозировать интерес к продукту, но и дать маркетологу обоснованный ответ, почему, например, более вероятно, что автомобиль дорогой марки приобретет покупатель из Казани, а не из Москвы. И объясняемый ИИ особенно важен в задачах, которые связаны с высокой степенью финансовых рисков или опасностью для жизни (в нефтепереработке, производстве автомобилей, медицине и т.п.).

ИИ может стать человеком

ИИ может быстрее человека решать задачи, связанные с обработкой большого объема данных. Это помогает ему выигрывать в шахматы, покер и го, выявлять финансовые нарушения или предсказывать погоду. Уже сейчас ИИ может самообучаться или обучаться с учителем. Но, несмотря на такие возможности, это лишь технология, которая может выполнять одну или несколько задач, поставленных человеком. В отличие от человека, ИИ не умеет создавать новые оригинальные вещи или процессы и самостоятельно принимать решения, в том числе этического характера. Он пока не может любить, грустить, творить, дружить, но он может помогать в бизнесе и предупреждать человека об опасностях.

Мифы об искусственном интеллекте

Каждый день мы слышим, что искусственный интеллект решит все наши проблемы — от самоуправляемых автомобилей до лечения рака. В то же время некоторые ученые и капитаны индустрии, например Илон Маск, основатель компании Tesla, считают, что искусственный интеллект представляет экзистенциальную угрозу человечеству. Где же правда и что скрывается под этим термином?

История развития понятия ИИ

Термин «искусственный интеллект» родился в 50-е годы ХХ века, и уже тогда шли дебаты о том, что он означает. Первые системы для редактирования текстов считались «умными». Тогда и родилась шутка, что искусственный интеллект — это то, что люди могут делать, а компьютеры пока нет. То есть изначально искусственный интеллект рассматривался как автоматизация умственной деятельности человека.

В 80-е годы прошлого века большое распространение получили так называемые экспертные системы. Они оказали большое влияние на автоматизацию бизнес-процессов, которые регулируются точными правилами. Когда-то за применением бизнес-правил следили армии менеджеров. Потом эти правила стали частью кода программ управления. Под влиянием экспертных систем они были отделены от кода и собраны в таблицы. В современных системах управления можно менять правила без перепрограммирования самой системы.

На этих примерах мы видим, что системы автоматизации умственной деятельности сами ничему не учатся. Все их знания, например экспертные правила, нужно разрабатывать и вводить вручную. В последнее время фокус сместился на так называемые системы машинного обучения. Цель этих систем — замена ручной разработки правил на автоматическое обучение с помощью примеров. До конца 1990-х годов системы машинного перевода работали на правилах, разработанных десятками лингвистов. Успех этих систем оставлял желать лучшего. С распространением интернета появилась возможность собрать большое количество параллельных текстов на двух языках. Так были предложены статистические модели перевода. Параметры этих моделей были автоматически оптимизированы на основе параллельных текстов без применения лингвистических правил. Такой же тип работы происходил в направлении распознавания речи. Этот подход дал большой рывок вперед по качеству перевода, как только количество примеров для обучения достигло десятков миллионов.

Современные системы статистического машинного обучения, основанные на глубоких нейронных сетях, достигли впечатляющих результатов в машинном переводе, распознавании речи и анализе фотографий. Это дает основание для оптимистов считать, что не за горами излечение от рака и умные роботы, с которыми можно говорить на любую тему. Пессимисты говорят о массовой безработице и даже о бесконтрольных роботах, захватывающих мир. И те и другие забегают далеко вперед, в область научной фантастики.

Миф 1: ИИ способен решать любые задачи


Все современные системы искусственного интеллекта узкоспециализированны. За прошедшие годы было создано много систем, автоматизирующих те или иные виды умственной человеческой деятельности, — например, игра в шахматы или распознавание рукописных слов. Но даже самая совершенная шахматная программа не сможет ответить на вопрос о том, где родился нынешний чемпион мира Магнус Карлсен. Она может делать только шахматные ходы — ничего другого. Пока мы не знаем, как создавать системы общего, а не узкоспециализированного интеллекта.

Компания IBM попыталась сделать из этого маркетинговую кампанию, основанную на том, что если компьютер может побеждать в шахматы, то он может делать все что угодно, например лечить рак. На самом деле это не так. На современном этапе развития различные методы искусственного интеллекта могут решать отдельно взятые проблемы, причем довольно успешно. Но теории общего интеллекта все еще не существует.

Миф 2: ИИ все могут самостоятельно

Системы статистического машинного обучения требуют огромного количества размеченных данных — параллельных текстов или картинок с выделенными предметами. Областей, в которых такие данные существуют, не так много. Недостаточное количество обучающих примеров ведет к большому количеству ошибок.

Наши обширные знания и логика позволяют нам учиться на очень малом количестве примеров. Психологические опыты показывают, что одной фотографии антилопы гну достаточно для человека, чтобы научиться ее узнавать. И это для человека, который никогда раньше не видел антилопу гну. Для лучших нейронных сетей нужны тысячи фотографий. Скорее всего, люди могут делать это быстрее и качественнее, поскольку у них есть богатые представления о животных, с которыми они могут сравнить что-то новое. Как говорил Пушкин, «наука нам сокращает опыты быстротекущей жизни».

Миф 3: Работа ИИ подчинена правилам здравого смысла

Статистические системы по своей природе всегда будут делать ошибки, противоречащие здравому смыслу. Еще в 60-е годы приводились примеры, где правильный перевод требовал применения здравого смысла. Мы знаем, что в предложении “I saw the Grand Canyon flying to New York” Большой каньон не летит в Нью-Йорк. Однако по сей день Google и Яндекс переводят это предложение как: «Я видел Гранд-Каньон, летящий в Нью-Йорк».

Еще один простой пример: если я хочу послать телеграмму, то в банковском деле это называют “to send a bank wire”. Wire — это телеграмма. Google и Яндекс это переводят как «проволока» — банковская проволока. Потому что статистически «проволока» гораздо более частый перевод слова wire, чем «телеграмма». Поэтому программы, основанные на статистике, хорошо работают там, где есть огромное количество статистического материала. Но когда нужна точность, например, когда нужен точный перевод в какой-нибудь узкоспециализированной области, они работают плохо. Программы, основанные на статистических методах, всегда будут делать статистические ошибки.

Заключение: почему ИИ неравнозначен человеческому интеллекту?

Чего же не хватает для постройки общего интеллекта? Полного ответа на этот вопрос у нас нет. По аналогии с человеческим интеллектом стоит обратить внимание на несколько необходимых компонентов. Часто говорят, что искусственному интеллекту не хватает здравого смысла. Но что такое здравый смысл? Это наши знания и логика их применения. Двухлетнему ребенку не надо десять раз трогать горячую плиту, чтобы ее бояться. У него уже есть модель горячих предметов и понимание того, что происходит при контакте с ними. Достаточно один раз обжечься, чтобы больше не хотеть прикасаться к таким предметам.

Каким образом наши знания попадают к нам в голову? Очень мало из того, что мы знаем, пришло к нам на основании нашего собственного опыта. С раннего детства мы учимся у окружающих нас людей. Наши знания коллективные, наш интеллект тоже коллективный. Мы все время помогаем и подсказываем друг другу. Это понятие отсутствует в современных системах машинного обучения. Мы не можем ничего подсказать нейронной сети, и она не может нас ничему научить. Если один робот научится узнавать овцу, а другой — корову, они ничем не смогут помочь друг другу.

Пока мы не решим эти проблемы, нам не надо опасаться страшных вездесущих роботов. Скорее, надо опасаться мифов об искусственном интеллекте и слепо следовать указаниям далеко не совершенных машин. Впрочем, то же самое можно сказать и о людях.

Источник: ПостНаука

11 мифов об искусственном интеллекте и конечных узлах

Для многих людей, не связанных с точными науками, слова искусственный интеллект ассоциируются с чем-то ужасным и непонятным. Мы постараемся развеять наиболее популярные мифы об искусственном интеллекте (ИИ).

Искусственный интеллект это научная фантастика

Совершенно верно. Зарождение искусственного интеллекта начиналось как научная фантастика, популяризованная писателями-провидцами, но ИИ здесь и сейчас. Существует множество современных приложений, в зависимости от того, что вы вкладываете в понятие «искусственный интеллект». Хотя после решения сложной проблемы ИИ, она быстро кажется очевидной и, следовательно, менее «разумной». В США один из первых примеров использования искусственного интеллекта на периферии касался распознавания чеков по почерку.

Искусственный интеллект должен быть управляем периферийным или облачным устройством

Не так быстро. Оказывается, есть много классных гибридных реализаций, которые объединяют эти два подхода. Часто, независимо от того, находится ли реализация ИИ в конечном узле или в облаке, она определяется соображениями, касающимися пропускной способности, затрат на обработку данных, конфиденциальности и степени регулирования. Возьмем, к примеру, мониторинг контроля безопасности входной двери. Потоковая прямая трансляция видео с камеры в облако в режиме 24/7 расточительна и дорога, особенно когда ничего не происходит. Но если с помощью пограничного искусственного интеллекта обнаруживается значительная активность, то облачные службы могут быть активированы для идентификации вызывающего абонента или определения иных необходимых действий.

Цукерберг рекомендует:  Jquery - Сортировки таблицы

Искусственный интеллект в конечном узле сети должен быть быстрее

Без сомнения, это правда, но не всегда. Например, если ИИ используется для управления автономным транспортным средством, то он должен быть сверхбыстрым. При скорости 55 миль в час (90 км/ч) транспортное средство будет проезжать более 80 футов (25 м) в секунду, поэтому ИИ должен обновляться за десятки миллисекунд. Таким образом, задержки сети при передаче данных к и от облачной системы абсолютно неприемлема. Но, как уже упоминалось выше, есть много причин для обработки данных в конечных узлах. Во многих случаях задержка в несколько секунд более чем достаточна. Требования к скорости системы являются условием приложения, а не местом реализации искусственного интеллекта.

Люди всегда победят «лучшего представителя» системы искусственного интеллекта

Как бы наше самолюбие не утверждало сей тезис, но это неправда. Люди являются фантастически адаптируемыми, быстрыми и интуитивно понятными учениками. Но в некоторых случаях, таких как идентификация опухолей при сканировании, системы на основе искусственного интеллекта оказались более надежными. Прошло более 20 лет с тех пор, как Deep Blue победил тогдашнего чемпиона мира по шахматам Гарри Каспарова. И совсем недавно исследователям искусственного интеллекта в Сингапуре удалось научить промышленных роботов выполнять задачу, которая выходит за рамки многих из нас — умение собирать разобранную мебель.

Искусственный интеллект – угроза нашей безопасности

На самом деле, многие рассматривают использование ИИ как щит для нашей конфиденциальности, избегая необходимости взаимодействия человека с конфиденциальными данными и изображениями. Сторонники искусственного интеллекта взволнованы тем, что эта технология может избежать ненужной потоковой передачи конфиденциальных аудио- и графических данных в облако. Со временем это может также привести к более легкому соблюдению новых правил безопасности хранения данных, например новый европейский GDPR (Общее положение о защите данных).

Высокоскоростное оборудование и облачные технологии требуются для всех систем искусственного интеллекта

Ложь. Системы обучения искусственного интеллекта определенно требуют очень быстрой обработки на базе центра обработки данных с использованием новейших графических процессоров или другого аппаратного ускорения. Но системы логического вывода ИИ могут быть развернуты с использованием более дешевого оборудования в конечном узле сети, часто без подключения к облаку, по причинам пропускной способности, стоимости, конфиденциальности и управления.

Размещение систем искусственного интеллекта в конечных узлах дорого

Конечно, это относительно дорого, но в настоящее время разрабатываются встроенные системы видения, которые реализуют ИИ, с использованием экономичных микросхем FPGA (программируемая логическая интегральная схема (ПЛИС)), подходящих для миллионов производств. В крупных городах можно реализовать значимые функции ИИ менее, чем за половину стоимости чашки кофе.

ИИ потребляет слишком много ресурсов для развертывания в конечном узле сети


Есть две причины этого заблуждения. Во-первых, люди путают обучение и обработку информации (анализ и выводы). Вне зависимости от этого, обучение требует значительных вычислительных ресурсов с современными подходами и предъявляет серьезные требования к «мощности железа», которые затрудняют, если не делают невозможным реализацию в узле. Во-вторых, многие ранние реализации искусственного интеллекта использовали процессоры и графические процессоры с ограниченным параллелизмом и необходимостью работать на высоких тактовых частотах (и, следовательно, на высокой мощности) для достижения приемлемой производительности для многих приложений.

Однако массово-параллельные реализации, подобные в ASIC или FPGA, обеспечивают уровни мощности, которые хорошо подходят для периферийных приложений. Недавно были продемонстрированы реализации функций FPGA, таких как распознавание лиц и обнаружение ключевых слов, при потребляемой мощности ниже 1 мВт.

Системы, использующие искусственный интеллект в конечных узлах, сложны для проектирования

Это было верно лет пять назад, когда ученые начали использовать сверточные нейронные сети (CNN) для обработки изображений. Реализация ИИ была не для «слабонервных». Однако сегодня такие инструменты, как TensorFlow и Caffe, упрощают проектирование и обучение нейронных сетей, тем более что многие ученые создали примеры, которые можно использовать в качестве отправной точки для проектирования. Это было дополнено рядом поставщиков встроенного оборудования, предоставляющих компиляторы, которые позволяют разработчикам внедрять сети в оборудование, подходящее для периферийных приложений. Теперь можно перейти от концепции к реализации в течение одной или двух недель.

Вычисления в узлах могут выполнять роль сервера

Это правда. Для многих людей периферийные вычисления означают промышленный сервер, который обрабатывает данные с фабрики. Это определенно имеет много преимуществ относительно обработки данных в облаке. Однако перемещение обработки на датчик дополнительно снижает трафик данных и сводит к минимуму требования к вышестоящим серверам при одновременном снижении задержки.

Искусственный интеллект в конечных узлах может работать с изображениями высокого разрешения

Некоторые новички в этой области предполагают, что алгоритмы ИИ требуют изображений с высоким разрешением для хорошей производительности. Однако обычно это не так. Многие из последних алгоритмов ИИ используют изображения размером 224 × 224 пикселей или 448 × 448 пикселей. И многие «практикующие системы» продемонстрировали полезные возможности в гораздо меньших разрешениях. Например, одна компания недавно продемонстрировала системы обнаружения лиц, разработанные с использованием 32 × 32-пиксельных изображений.

3 мифа об эмоциях роботов. ИИ ( искусственный интеллект )

Очень скоро ИИ ( искусственный интеллект ) станет частью нашей жизни. Разбираемся, стоит ли ждать восстания машин и можно ли будет завести роман с роботом. 3 мифа об эмоциях роботов. ИИ ( искусственный интеллект ).

Фантастические фильмы об искусственном интеллекте (ИИ) изобилуют сюжетами о добрых роботах и компьютерах, которые внезапно обретают чувства и эмоции, что непременно приводит их к идее уничтожить человечество.

На первый взгляд полезный ИИ HAL из «2001: Космическая одиссея» к концу фильма душит астронавтов во сне. Последняя в длинной истории роботов-убийц, Ава из фильма «Из машина», в стремлении обрести свободу убивает одного человека и оставляет другого на верную смерть.

Рассказы об эмоционально неустойчивых роботах будят беспочвенные опасения по поводу того, на что в действительности окажется похоже наше будущее бок о бок с ИИ.

Ян Лекун, директор научно-исследовательского подразделения Facebook, занимающегося искусственным интеллектом, уверен: представление, что роботы будут обладать человеческими чувствами — огромное заблуждение. Он объяснил, как на самом деле могут работать эмоции роботов.

Миф № 1: продвинутые роботы будут способны на чувства

ИИ, которые у нас есть сейчас, ничем не напоминают Аву; они больше похожи на специализированных роботов типа Wall-E. Ава — так называемый общий искусственный интеллект (AGI), ИИ, проявляющий разумность на человеческом уровне и в том же диапазоне задач, которые способен решить средний человек. Она может видеть, говорить, слушать и рассуждать.

ИИ, которым мы располагаем сейчас, — так называемый узкий искусственный интеллект (ANI), или ИИ, демонстрирующий удивительные способности для решения очень узких, специализированных задач, таких как торговля акциями. Продвигаясь вперед, исследователи, вероятно, разработают более сложные ANI. Лекун объясняет:

«Большинство ИИ будут специализированы и не будут обладать никакими эмоциями. Автопилот вашего автомобиля предназначен, чтобы просто водить машину — он не запрограммирован что бы то ни было при этом „чувствовать“».

Миф № 2: Роботы обретут эмоции спонтанно

Даже Wall-E — неправильный робот. Он представитель ANI, сборщик мусора, который развил в себе богатую эмоциональную жизнь. Он испытывает благоговение, страх, любовь — эмоции, которые не делают его более эффективным в выполнении задач. В действительности ИИ будут проявлять эмоции только в том случае, если их на это запрограммируют. Чувства не станут побочным продуктом создания сверхразумных программ.

Одна из причин, по которой мы могли бы запрограммировать роботов на эмоции, — чтобы с ними были легче работать, чтобы они были меньше похожи на бесчувственные автоматы и больше — на любимых коллег. Лекун говорит:

«Мы можем развить в них альтруизм и другие побуждения, чтобы людям было приятнее взаимодействовать с ними и находиться рядом».

Лекун указывает на характер ИИ Саманты в фильме «Она» как на «не совсем неправдоподобный» — она спроектирована специально, чтобы испытывать эмоции, а именно любовь, и чтобы строить отношения со своим партнером-человеком. Тем не менее Лекун считает, что до такого AGI нам предстоят долгие годы. Но запрограммированные эмоции не будут включать отрицательные (и опасные), такие как гнев и зависть.

Миф № 3: Эмоции роботов будут похожи на человеческие

Если люди начнут создавать роботов с эмоциями, они, вероятно, будут ничем не похожи на наши, говорит Лекун. Эмоции ИИ будут больше соответствовать их запрограммированным целям, основанным на «ожидании награды», объясняет он:

«Сейчас наш способ обучать машины — „руководящий“: примерно как когда мы показываем ребенку книжку с картинками и говорим ему, что там изображено».

В этом случае система ИИ берет на себя роль ученика, в то время как исследователь становится учителем. Как и обычный ученик, ИИ должен иметь встроенное стремление к успеху, и будет работать ради того, чтобы достичь его.

Но Лекун уверяет, что, даже если ИИ получат какую-то разновидность эмоций, нет никаких причин для опасений: вся эмоциональная жизнь ИИ, вероятно, будет сводиться к стремлению к вознаграждению. Наиболее разрушительные эмоции, такие как алчность и гнев, останутся прерогативой человека. Лекун говорит:

«Для ИИ нет никаких причин иметь инстинкт самосохранения или ревность. У ИИ не будет этих разрушительных „эмоций“, если мы не запрограммируем его соответственно. И я не понимаю, с чего бы нам это делать».

ИИ в собственном SOC’у: мечтают ли руководители центров мониторинга кибератак об электроаналитиках


Тематика искусственного интеллекта, зародившаяся еще в 60-х годах, сейчас переживает просто сумасшедший бум. Компьютеры обыгрывают шахматистов и поклонников Го, порой точнее врача ставят диагнозы, нейронные сети (на этот раз не имеющие отношения к умам трех инженеров техподдержки) всерьез пытаются решать сложные прикладные задачи, а где-то там на горизонте уже маячит универсальный искусственный интеллект, который когда-нибудь заменит своего прикладного сородича.

Информационная безопасность тоже не остается за границами хайпа вокруг ИИ (или его эволюции — тут уж каждый решает для себя). Все чаще мы слышим о необходимых подходах, прорабатываемых решениях и даже (иногда робко и неуверенно, а иногда громко и, к сожалению, не очень правдоподобно) о первых практических успехах в данной области. Говорить за все ИБ мы, конечно, не возьмемся, но попробуем разобраться, каковы реальные возможности применения ИИ в профильном для нас направлении SOC (Security Operations Center). Кого заинтересовала тема или просто хочется пофлеймить в комментариях — добро пожаловать под кат.

Типизация ИИ под задачи ИБ, или не все ИИ одинаково полезны

Существует много подходов к классификации искусственного интеллекта — с точки зрения типов систем, эволюционных волн развития направления, типов обучения и т.д. В данном посте мы рассмотрим классификацию типов ИИ с точки зрения инженерного подхода. В такой классификации ИИ делится на 4 типа.

1. Логический подход (компьютерная экспертная система) – ИИ формируется в первую очередь как система доказательства сложных фактов. Любую возникающую цель система интерпретирует как задачу, которую необходимо решить логическими методами. Если верить источникам, схожие подходы в своей работе использует система IBM Watson, печально известная всем российским любителям шахмат.

Суть этого подхода в том, что система по большей части имеет два основных интерфейса: для приобретения информации (где происходит обучение, осуществляемое экспертом в предметной области) и для решения задачи (где полученные знания и методики используются для решения логических и практических задач).

Именно этот подход чаще всего имеют в виду, говоря о перспективах применения ИИ в информационной безопасности, поэтому поставим на нем галочку для более подробного рассмотрения в дальнейшем.

2. Структурный подход — когда одной из основных инженерных задач ИИ является эмуляция работы человеческого мозга с его возможностью структурировать и анализировать информацию. По факту подаваемых в систему потоков данных и предоставляемой ей обратной связи (что очень помогает и обыкновенным людям, в том числе и аналитикам SOC) она самообучается и улучшает внутренние алгоритмы принятия решений.

Благодаря возможности развернутой обратной связи данные подходы часто используются применительно к массивам условно структурированных данных. Это обработка изображений, персонализация данных, тегирование аудио-/видеоконтента или иной информации. В большинстве известных реализаций система, не являясь экспертной в чистом виде и не требуя режима приобретения знаний, тем не менее требует существенной операторской работы для формирования устойчивого и содержательного потока обратной связи. Налицо сходство с работой человеческого мозга: чтобы ИИ «вырос», его надо учить, что хорошо и что плохо, что горячее, что холодное, где мама, а где чужой человек.

3. Эволюционный подход — выращивание ИИ в процессе обмена знаниями между более простыми программами и формирование новой, более сложной структуры кода. Задачей эволюции является в первую очередь создание «совершенного вида» и приспособление к новой агрессивной среде, выживание, чтобы избежать печальной участи динозавров.

По моему мнению, шансы такого подхода привести нас к искусственному интеллекту, способному решать задачи информационной безопасности или участвовать в деятельности SOC, невелики. Наша киберсреда, безусловно, достаточно агрессивна, атаки происходят каждый день и массово, но вариант создания условий для того, чтобы среда ИБ поддерживала и стимулировала эволюционный подход, кажется маловероятным. Людей с альтернативным мнением по вопросу очень просим высказываться в комментариях.

4. Имитационный подход — создание симулятора действий в исследуемой области путем долгосрочных наблюдений за имитируемым предметом. Если упростить, то задача заключается в считывании всех входных параметров и выходных данных (результатов анализа, действий и т.д.) для того, чтобы машина через какое-то время смогла выдавать ровно такие же результаты, как и исследуемый объект, и потенциально транслировать те же мысли, если объектом выступал человек.

При всей привлекательности прикрепления «Большого Брата» к аналитику SOC подход для ИБ также кажется малоприменимым. В первую очередь из-за сложности сбора и отделения новых знаний в части ИБ от всех прочих (человек слаб и с удовольствием отвлекается на внешние контексты даже в рабочем процессе), да и несовершенством инструментов наблюдения (шунты для считывания информации пока особо не разработаны и слава богу).

Если посмотреть интегрально на все описанные подходы, особенно в разрезе их применения для задач аналитики SOC, заметна общая особенность: малыша ИИ для правильного развития обязательно нужно кормить — методами, правильными ответами и максимально структурированными данными, которые будут объяснять ему, как в дальнейшем он должен строить и принимать собственные решения, или обучать его использованию интерфейсов получения внешней информации. Причем в нашем случае эти интерфейсы должны быть так же структурированы и автоматизированы: если аналитик SOC информацию об угрозе или активе может получить по телефону, то с ИИ этот номер не пройдет.

В общем случае часть ИБ-процессов (выявление мошенничества, защита веб-приложений, анализ прав и учетных данных пользователей) действительно поддерживает принцип больших чисел и «логическую» структуру. В случае же с выявлением инцидентов все гораздо занимательнее.

ИИизируй это, или Возможности искусственного интеллекта в разрезе процессов SOC

Теперь давайте попробуем «приземлить» логический и структурный подходы к искусственному интеллекту на ключевые процессы SOC. Поскольку в обоих случаях подразумевается имитация человеческого логического мышления, стоит для начала задаться вопросом: а что бы я, аналитик SOC, мог сделать для того, чтобы решить эту задачу или получить ответ на нее откуда-то — автоматизировано? Пройдемся по ключевым процессам работы SOC:

1. Процесс инвентаризации или сбора информации об активах. Достаточно большая задача, в том числе для ИИ, который должен получать контекст об объектах наблюдения и с его помощью обучаться.

В теории это благодатное поле для ИИ. При появлении новой системы можно достаточно достоверно «сравнить» ее с соседями (анализируя сетевой трафик, структуру ПО и связи с другими ИС) и из этого сделать предположение о ее назначении, классе, ключевой хранимой информации. А если добавить туда контекст создания («система написана Васей, а Вася в нашей компании – ИТ-специалист по документообороту, и последние десять созданных им систем были документооборотом» или «одновременно с ней было создано еще 4 системы, в которых явно указано назначение» и т.д.), то проведение инвентаризации и учета активов кажется посильной для ИИ задачей.

Возникающие нюансы или внешние проблемы

A. На практике мы наблюдаем у заказчиков немалый уровень энтропии даже в рамках отдельной бизнес-системы. Тут и особенности работы конкретного инженера, и несколько измененная конфигурация взаимодействия для этой системы, и дополнительное ПО. А еще для процессов мониторинга и управления инцидентами нам важно понимать, является система продуктивной или тестовой, залиты ли в нее боевые данные или нет, и десяток других мелких вопросов, которые обычно несложно прояснить по телефону и довольно тяжело вычленить из информационных потоков.

B. Для подхода к задаче требуется на каком-то этапе создание условно стерильной среды, в которой мы все-таки знаем, кто есть кто и какие задачи решает. Процессы даже базового создания модели активов у большинства заказчиков… ну, в общем, не будем о грустном, вы и сами все знаете.

Тем не менее отметим перспективность применения ИИ в этой задаче как «когда-нибудь» и двинемся дальше.

2. Процесс управления уязвимостями. Конечно, речь не о базовом инструментальном сканировании и выявлении уязвимостей и дефектов конфигурации (тут даже ML на Python не нужен, не то что ИИ на Powerpoint — все работает на базовых алгоритмах). Задача — наложить выявленные уязвимости на фактическую карту активов, приоритизировать их в зависимости от критичности и стоимости активов, находящихся под угрозой, сформировать план… А вот здесь стоп. Действительно разобраться, какой из активов сколько стоит, — задача, с которой даже живой безопасник часто разобраться не может. Процесс анализа рисков и оценки активов, как правило, умирает на этапе оценки стоимости информации или согласования этой оценки с бизнесом. В России эту дорогу осилили не более десятка компаний.

Но, пожалуй, в облегченном режиме (когда стоимость ресурса или его критичность оценивается относительной 10- или 100-бальной шкалой), задачу решить точно можно. При этом вопросы автоматизации возвращают нас в первую очередь к предыдущему пункту — инвентаризации. После этого задача решается классическим статистическим анализом, без сложных ИИ-ухищрений.

3. Анализ угроз. Когда мы наконец инвентаризировали все активы, поняли все ошибки конфигурации и возможные уязвимости, неплохо бы наложить на эту картинку известные вектора атак и техники работы злоумышленника. Это позволит нам оценить вероятность того, что атакующий сможет достичь цели. Идеально добавить туда еще статистику по тестированию сотрудников на умение определять фишинг и возможности службы ИБ или SOC по выявлению инцидентов (объем подконтрольной части инфраструктуры, количество и типы отслеживаемых сценариев кибератак и т.д.).

Выглядит ли задача решаемой? При условии, что мы справились на предыдущих двух этапах, тут есть два ключевых нюанса.

1. Техники и способы атаки злоумышленника тоже требуют входной машинной интерпретации. И речь не об IoC, которые легко декомпозируются и применяются, а, в первую очередь, о TTP (Tactics, Techniques and Procedures) атакующих, которые влекут за собой гораздо более сложную цепочку условий («а при каких вводных я уязвим?»). Даже базовый анализ известных техник матрицы Mitre подтверждает, что дерево событий будет очень разветвленным, и для корректного принятия решения об актуальности угрозы каждая развилка требует алгоритмизации.

Цукерберг рекомендует:  Тест по Spring Framework. Начальный уровень

2. В данном случае вполне себе искусственному нейронному мозгу противостоит естественный — злоумышленника. И вероятности нестандартных, не описанных или напрямую не попадающих в TTP действий, здесь крайне немало.

4. Выявление/детектирование новых угроз/аномалий и т.д. Когда люди рассуждают о применении ИИ в SOC, обычно они подразумевают именно эти процессы. Действительно, неограниченные вычислительные мощности, отсутствие разбитого фокуса внимания, Data Lake — чем не основа для того, чтобы ИИ начал выявлять новые аномалии и угрозы, раньше не фиксировали?


Ключевая проблема в том, что для этого нужно как минимум кластеризовать деятельность по функциональным/бизнес-структурам и информационным активам (возвращаемся к пункту 1), иначе у всего огромного потока данных в нашем Data Lake не будет требуемого контекста для выявления аномалий. Применение ИИ в этой сфере ограничено четко обозначенным кругом прикладных задач, в общем случае он будет давать слишком много ложных срабатываний.

5. Анализ инцидентов — это «единорог» всех любителей автоматизации в вопросах SOC: автоматически собираются все данные, фильтруются ложные срабатывания, принимаются обоснованные решения, а дверь в Нарнию таится в каждом платяном шкафу.

К сожалению, этот подход несовместим с тем уровнем бардака энтропии, который мы видим в информационных потоках организаций. Объем детектируемых аномалий может ежедневно меняться – не из-за растущего объема кибератак, а из-за обновления и изменения принципов работы прикладного ПО, изменения функционала пользователя, настроения ИТ-директора, фазы Луны и т.д. Для того чтобы хоть как-то работать с инцидентами, получаемыми из Data Lake (а еще от систем UBA, NTA и т.д.), аналитику SOC нужно было бы не только долго и настойчиво гуглить вероятные причины такого странного поведения системы, но и иметь Full View информационных систем: видеть каждый запускаемый процесс и обновление, каждую корректировку реестра или флагов сетевого потока, понимать все производимые в системе действия. Даже если забыть, какой огромный поток событий это спровоцирует, и на сколько порядков увеличится стоимость лицензии на на любой продукт, используемый в работе SOC, остаются еще колоссальные эксплуатационные расходы на поддержание такой инфраструктуры. В одной из знакомых нам российских компаний удалось «причесать» все сетевые потоки, включить port security, настроить NAC — словом, сделать все по фен-шую. Это позволило очень качественно анализировать и расследовать все сетевые атаки, но заодно увеличило штат сетевых администраторов, поддерживающих это состояние, примерно на 60%. Стоит ли элегантное ИБ-решение таких дополнительных расходов — каждая компания решает и оценивает для себя.

Поэтому необходимым звеном в процессе анализа инцидентов по-прежнему остается телефонная трубка, общение с администраторами и пользователями, гипотезы, которые требуют проверки на стендах и т.д. А эти функции ИИ плохо делегируются.

В общем, пока что использованию ИИ в анализе инцидентов мы говорим строгое «не верю», но очень надеемся, что в скором времени мы сможем отдать ИИ хотя бы инвентаризацию активов и управление уязвимостями.

6. Реагирование и ликвидация последствий инцидентов. Как ни странно, в этой части применение ИИ выглядит достаточно жизнеспособной моделью. Действительно, после качественного разбора, классификации и фильтрации ложных срабатываний, как правило, уже понятно, что делать. Да и в работе многих SOC базовые playbook на реагирование и блокировку могут выполняться даже не ИБ-, а ИТ-специалистами. Это хорошее поле для возможного развития ИИ или более простых подходов к автоматизации.

Но, как всегда, возникают нюансы…

А. Еще раз подчеркну, что для успешной работы ИИ на данном этапе, необходимо, чтобы предыдущие прошел человек-аналитик, причем сделал это максимально полно и качественно. Это тоже не всегда простая задача.

В. Со стороны ИТ и бизнеса вы встретите резкое неприятие автоматизации даже базовых playbook по реагированию (блокирования IP-адресов и учетных записей, изоляции рабочей станции), так как все это чревато простоями и нарушением бизнес-процессов. И, пока данная парадигма не прошла успешную проверку практикой и временем – хотя бы в полуручном режиме по отмашке от аналитика, говорить о передаче функции машине, пожалуй, преждевременно.

Теперь посмотрим на ситуацию в целом. Часть процессов пока не отчуждаемы в пользу ИИ, часть требует проработки и поддержания полного контекста инфраструктуры. Кажется, время для широкого внедрения этих технологий еще не пришло — исключением является разве что задача повышения качества детектирования инцидентов за счет выявления аномалий. Однако есть основания полагать, что перечисленные задачи SOC в принципе поддаются автоматизации, а значит, в дальней перспективе ИИ вполне может найти там свое место.

Skynet не готов победить

В финале хотелось бы выделить еще несколько очень важных, на наш взгляд, моментов, позволяющих в том числе ответить на частый вопрос: «А может ли ИИ заменить мне первую линию/команду Threat hunting/SOC целиком?».

Во-первых, даже на очень больших упорядоченных и автоматизированных производствах, где большая часть функционала отдана машинам, всегда присутствует оператор. Это можно наблюдать в любой из отраслей нашей экономики. Задачи оператора в этом смысле детермированно простые — своим человеческим фактором исключить «машинный фактор» и своими руками стабилизировать ситуацию в случае сбоя/аварии/нарушения корректности процесса. Если мы автоматизируем или кибернетизируем задачи SOC, то автоматически возникает потребность в привлечении сильного профильного специалиста, который в состоянии быстро оценить импакто от машинной ошибки и результативность предпринятых действий. Поэтому автоматизация и развитие ИИ даже в будущем вряд ли приведет к отказу от круглосуточной дежурной смены.

Во-вторых, как мы увидели, любой ИИ так или иначе требует пополнения знаний и обратной связи. Причем в случае SOC — не только об изменении векторов атак или внешнего информационного контекста (что в теории может быть частью обучения/экспертных пакетов и т.д), но, в первую очередь, информационного контекста ваших инцидентов, вашей организации и бизнес-процессов. Значит, заменить штатных экспертов-аналитиков ИИ тоже не сможет. По крайней мере, в ближайшем будущем.

Таким образом, на наш взгляд, любые подходы к интеграции ИИ в SOC на текущем этапе можно рассматривать лишь как элементы автоматизации работы с контекстом и решения некоторых подзадач аналитики. К полной передаче в руки роботов такой сложный процесс, как обеспечение ИБ, пока не готов.

6 мифов связанных с искусственным интеллектом

Среди «горячих» новостей современности регулярно проходят сообщения об успехах искусственного интеллекта. Еще недавно казавшийся уделом писателей-фантастов автопилот достаточно уверенно управляет автомобилем и ставит диагнозы, точности которых позавидуют многие доктора.

ИИ можно определить, как технологию, которая симулирует действия человека в практических сферах жизни, типа распознавания речи, классификации различных объектов с помощью визуального сканирования и т.п. Осознание подобных тенденций ведет к появлению различных мифов, связанных с ним.

Миф №1: ИИ оставит людей без работы

Стивен Хокинг в свое время поделился опасениями на этот счет. Он считал, что искусственный интеллект сможет полностью заменить людей на рабочих местах. Сейчас уже есть процессы, поддающиеся автоматизации почти на 70%.

Однако, по некоторым данным, автоматизировать подобным образом можно только 1/7 часть всех существующих профессий. По этой причине даже самому жадному бизнесмену в обозримом будущем вряд ли удастся заменить на ИИ весь свой биоперсонал. С большой вероятностью искусственный интеллект изменит суть самой работы, а не количество вакансий на нее.

Миф №2: Роботы и ИИ являются одним и тем же

Роботами называются системы, используемые для повышения эффективности работы людей в сложных и агрессивных средах.

Проводя аналогию с человеком робот — это руки, а ИИ — это мозг, основанный на технологии, с помощью которой решаются нелинейные задачи, например: оценка качества выпускаемых изделий, одобрение кредитов или выбор поставщика и персонала и т.п.

Производственные роботы и интернет-боты вполне способны функционировать в режиме интеллектуальной автоматизации. Начиная какой-либо интеллектуальный проект, стоит выяснить цель, которую планируется достичь. С выполнением рутины прекрасно справятся простые роботы. А вот решение нелинейных задач потребует привлечения ИИ, отдельно или в связке с ними.

Миф №3: «Можно работать по-старинке»

Большинством людей автоматизация и ИИ воспринимается как что-то из параллельного мира. Однако, современный ИИ применим практически везде, только в разной степени. Например, одна пищевая корпорация с большой буквой М в логотипе использует его на всех уровнях своей бизнес-цепочки – от нахождения поставщиков до улучшения эффективности рекламы. Здесь экономия исчисляется сотнями миллионов долларов.

Перефразируя известное выражение, можно сказать, что сейчас миром владеет тот, кто владеет информацией и может применить ИИ для ее обработки.

Миф №4: ИИ может творить

Искусственный интеллект может делать хорошие имитации людских произведений искусства. Нейросети по силам отрисовать небольшой мультипликационный фильм по одному словесному описанию. Есть проекты, имитирующие творчество известных художников и композиторов, или дописывающие текст на основе имеющейся базы данных писем.


Но все созданное ИИ обязательно напоминает нечто, уже виденное или слышанное. Машине пока не по силам написать оригинальный роман или создать новый модный стиль.

Миф №5: ИИ угрожает человеческой жизни

Чрезвычайно непросто двигаться в ногу со временем. По этой причине большинство людей готово отдавать свое право принимать решения и делать выводы гениям науки, инженерной мысли и бизнеса, считающим, что ИИ действительно может нести угрозу для человека. Раз верят они, значит верят и остальные.

Пока большие корпоративные боссы используют ИИ только для получения сверхприбылей. При этом этичность не является приоритетом. Однако, в мире есть множество людей, желающих сформировать новое взвешенное отношение к искусственному интеллекту. Они предлагают при его обучении сфокусироваться на алгоритмах, влияющих на этические предпочтения.

Миф №6: ИИ очеловечится

У искусственного интеллекта есть неоспоримое преимущество перед человеком в области выполнения заданий, которые связаны с обработкой больших объемов информации. Благодаря этому он может побеждать в различных стратегических играх, заниматься финансами, работать синоптиком и учиться у человека.

Однако, пока это только отдельные технологические решения, которым не хватает широкого человеческого кругозора, позволяющего заниматься с переменным успехом различными делами, не имеющими между собой ничего общего. Если когда-нибудь ИИ сумеет преодолеть узость мышления, то вполне возможно, что он станет почти неотличим от человека.

Миф о сверхчеловеческом искусственном интеллекте

Kевин Келли — автор книг и журналист. Он изучает влияние новых технологий на общество, экономику и культуру. Этим темам посвящен журнал Wired, который Келли основал в девяностых. В своей последней книге «Неизбежно» Келли анализирует 12 технологических трендов, которые будут определять ближайшие десятилетия.

В диспуте о возможных последствиях развития искусственного интеллекта Келли выступает на стороне оптимистов — он считает, что умные машины будут нашими помощниками, а не конкурентами.

  • Статья «Миф о сверхчеловеческом искусственном интеллекте» вышла в журнале Wired. Вашему вниманию её перевод и публикация в сокращенном варианте.

Умные машины будут нашими помощниками, а не конкурентами

«Я слышал, что в будущем искусственный интеллект станет настолько разумным и могущественным, что отберет у человечества все рабочие места и все ресурсы, и люди вымрут. Правда ли это!?» — этот вопрос я слышу каждый раз, как я выступаю на тему искусственного интеллекта. Спрашивающие не шутят, а всерьез волнуются, отчасти потому, что некоторые эксперты мучаются тем же самым вопросом. Среди них Илон Маск и Билл Гейтс. Стивен Хокинг также считал, что такой сценарий возможен. Но идея господства ИИ над человечеством основана на пяти предположениях, которые не подтверждены никакими данными. Возможно, в будущем, такие данные появятся, но пока их нет. Вот эти пять предположений:

  • ИИ уже превосходит человека по уровню интеллекта
  • Мы сделаем системы искусственного интеллекта разумами универсального назначения. Наш собственный разум также имеет универсальное назначение.
  • Мы можем сделать силиконовую копию человеческого разума.
  • Интеллект можно развивать до бесконечности.
  • Как только в нашем распоряжении будет суперинтеллект, мы тут же решим все наши проблемы.

Вопреки большинству, я считаю, что имеющиеся данные скорее подтверждают следующие «еретические» предположения:

  • Наш интеллект состоит из набора различных типов мышления. В некоторых из них умные машины превосходит нас. Тем не менее, есть задачи, которые под силу трехлетнему ребенку, но не искусственному интеллекту. Поэтому фраза «искусственный интеллект превосходит человеческий» неверна и плохо сформулирована.
  • Человеческий разум не является интеллектом универсального назначения. Системы искусственного интеллекта, которые мы создадим, тоже не будут иметь универсального назначения, каждая из них будет специализироваться на определенном наборе задач.
  • Перенос человеческого мышления на другие носители будет ограничен стоимостью.
  • Интеллект нельзя развивать до бесконечности.
  • Интеллект — это лишь один из факторов прогресса.

1. Интеллект состоит из множества типов мышления. «Умнее, чем люди» — бессмысленная идея.

Самое распространенное заблуждение об искусственном интеллекте начинается с заблуждения о естественном интеллекте. Вот оно: интеллект имеет лишь одно измерение.

Большинство людей технического склада ума представляют себе интеллект так же, как Ник Бостром в своей книге «Сверхинтеллект» — как буквальный, одномерный линейный график усиливающейся мощности:

На шкале слева направо: мышь, шимпанзе, дурак из деревни, Эйнштейн и рекурсивно самосовершенствующийся искусственный интеллект.

С одного конца интеллект маленького животного, с другого — интеллект гения. Как если бы интеллект был чем-то вроде уровня громкости в децибелах. Конечно, в таком случае запросто можно представить себе, как «громкость» искусственного интеллекта продолжает возрастать, в какой-то момент превосходит наш собственный разум и даже не умещается на графике.

Топологически эта модель схожа с лестницей: каждый следующий ранг интеллекта стоит на ступеньку выше предыдущего. Животные ниже нас рангом, а наиболее развитые системы искусственного интеллекта неизбежно обгонят нас и займут более высокие ранги. Сроки тут не имеют значения, самое главное — это ранги, метрика повышения интеллекта.

Но лестницы интеллекта нет. Интеллект не представляет собой одно измерение. Это комплекс из многих типов мышления, и каждый из них представляет собой отдельную шкалу.

Интеллекты животных, людей и машин представлены как наборы типов мышления, каждый из которых имеют свою шкалу развитости.

Самое главное заблуждение об интеллекте — это то, что его можно измерить по одной шкале

Возьмем, к примеру, простую задачу измерения интеллекта животных. Если бы речь шла об одномерной характеристике, мы могли бы расположить на шкале в порядке возрастания интеллекта попугая, дельфина, лошадь, белку, осьминога, кита, кошку и гориллу. Но на данный момент не существует научных данных, доказывающих, что такой порядок возрастания интеллекта существует. Возможно, интеллектуальные способности этих животных не отличаются? Но и это не так. Зоология наполнена замечательными примерами того, насколько по-разному мыслят животные.

Быть может, у всех животных есть один и тот же «общий интеллект»? Возможно, но у нас нет никакого способа, никакой единой метрики, чтобы измерить такой интеллект. Вместо этого, у нас много разных метрик для измерения разных типов мышления.

Вместо одной линии возрастания децибелов, более точная модель интеллекта — это схема пространства возможностей, наподобие приведенной ниже схеме возможных форм, сгенерированных алгоритмом Ричарда Доукинса.

Каждый отдельный интеллект складывается из множества типов мышления, и у каждого из этих типов своя шкала. Некоторые интеллекты могут быть очень сложными, с множеством компонентов. Другие могут быть проще, но при этом содержать в себе какой-нибудь один радикально развитый компонент. Интеллекты — это комплексы наподобие оркестров, состоящих из разных групп инструментов — струнные, ударные, духовые и так далее.

Изображение сгенерировано с помощью EMERGENT MIND

Они различаются не только громкостью, но и частотой звука, тембром и характером партии. Давайте думать о них как об экосистеме. И в этом смысле, составные компоненты мышления взаимосвязаны.

Человеческий разум представляет собой сообщества умов, как сказал Марвин Мински. Наша жизнь основана на экосистемах мышления. В них — множество разновидностей мышления, и они выполняют различные операции: дедукция, индукция, символическое мышление, эмоциональный интеллект, пространственная логика, краткосрочная и долгосрочная память. Вся наша нервная система — тоже своего рода мозг со своим режимом мышления. На самом деле, мы мыслим не только нашим мозгом, а всем телом.

Наборы типов мышления различаются от индивидуума к индивидууму и от вида к виду. Белка может помнить точное расположение нескольких тысяч желудей в течение нескольких лет — достижение, поразительное для человеческого разума. То есть, в этом типе мышления, белки превосходят людей. Эта сверхспособность у белок идет в комплекте с другими способностями, которые развиты намного меньше, чем у нас. В мире животных есть много других узкоспециальных типов мышления, которые намного превосходят возможности человеческого разума в этих областях. И эти высокоразвитые способности тоже встроены в комплексные системы.


Точно так же и с искусственным интеллектом. Некоторые типы ИИ уже превосходят людей в некоторых измерениях. Ваш калькулятор — гений в арифметике, память Google намного превосходит нашу. Мы создаем системы искусственного интеллекта для того, чтобы они блистали в определенных типах мышления. Некоторые из этих режимов выполняют операции, которые мы можем делать сами, но не так хорошо. Например, расчет вероятности или арифметика. Другие типы мышления нам недоступны вовсе. Мы не можем запомнить каждое слово на шести миллиардах страниц, но это достижение под силу любой поисковой системе.

В будущем, мы изобретем совершенно новые типы мышления, которые не встречаются ни в человеческом мышлении, ни у каких-либо других организмов на земле. Когда мы изобрели летательные аппараты, мы вдохновлялись маханием крыльев. Но механизм полета, который мы в итоге изобрели — вращающиеся пропеллеры, прикрепленные к широкому крылу — не встречается среди живых существ. Это инновация, «чужеродный» полет.

Похожим образом мы изобретем совершенно новые режимы мышления, которых нет в природе. Во многих случаях они будут узкоспециальными, «малыми» режимами для решения конкретных задач — например, типы рассуждений, которые будут использоваться только в статистике и расчете вероятности.

Некоторые из самых сложных задач бизнеса и науки могут потребовать решения из двух шагов:

Шаг 1: изобрести новый способ мышления, который будет работать в сочетании с нашим разумом.

Шаг 2: использовать полученную комбинацию человеческого и искусственного интеллекта для решения проблемы.

Мы считаем, что искусственный интеллект «умнее» нас просто потому, что мы можем с его помощью решить задачи, которые были нам раньше не под силу. Но на самом деле ИИ не «умнее» нас, а просто отличается от нас

Основные преимущества искусственного интеллекта — это различия в способе мышления. На мой взгляд, об ИИ следует думать как о чужеродных интеллектах, своего рода искусственных пришельцах. Их чужеродность будет их главной ценностью для нас.

Цукерберг рекомендует:  Высшее образование - Возможно ли работать без вышки

В то же время, мы объединим некоторые из этих режимов мышления в сложные комплексы — «сообщества разумов». Поскольку они смогут решать проблемы, которые нам не под силу, кто-нибудь обязательно назовет их «сверхчеловеческими».

Но мы ведь не называем Google сверхчеловеческим интеллектом. Хотя его память и превосходит нашу, есть много вещей, которые мы делаем лучше, чем Google. Комплексные системы искусственного интеллекта превзойдут нас во многих отношениях, но ни одна из них не будет делать лучше сразу все, что делаем мы.

Эту ситуацию можно сравнить с физической силой человека. Индустриальной революции уже 200 лет. Машины как класс превосходят отдельного человека с точки зрения физических достижений: скорость передвижения, способность поднимать тяжести, точность разрезания и так далее. Но нет ни одной машины, которая превосходит человека во всех типах физических действий сразу.

2. Человеческий разум не является интеллектом универсального назначения.

Второе заблуждение — это идея о том, что человеческий разум имеет универсальное предназначение. Из-за популярности этой идеи исследователи ИИ часто заявляют, что собираются создать «универсальный искусственный интеллект». Однако, если мы рассматриваем интеллект как пространство возможностей, никакого «универсального» положения в нем не существует.

В пространстве всех возможных разумов, разум человеческого типа окажется в каком-нибудь углу, точно так же, как наша планета находится в углу огромной галактики.

Человеческий разум не занимает в этом пространстве некую центральную позицию с другими, специализированными разумами по бокам. Скорее, человеческий разум — это очень узкоспециализированный тип интеллекта, который эволюционировал в течение многих миллионов лет, чтобы выполнять конкретную задачу: помогать нам выжить на этой планете. В пространстве всех возможных разумов, разум человеческого типа окажется в каком-нибудь углу, точно так же, как наша планета находится в углу огромной галактики.

Конечно, можно представить себе разум наподобие швейцарского армейского ножа: такой разум будет неплохо решать много разных задач, но не будет особенно хорош ни в одной из этих функций.

Невозможно оптимизировать все сразу

Системы искусственного интеллекта будут следовать той же инженерной максиме, что и все вещи и существа: невозможно оптимизировать все функции сразу. Один большой разум, который умеет «все», не сможет решать отдельные задачи лучше, чем узкоспециализированные системы ИИ.

3. Перенос человеческого мышления на другие платформы будет ограничен стоимостью.

Возможно ли создать копию человеческого разума на искусственном носителе? Давая утвердительный ответ, специалисты отталкиваются от тезиса Чёрча-Тьюринга. В самом простом виде этот тезис звучит так: если вычислительной системе доступны бесконечное время и бесконечная память, она может произвести любое вычисление. Проблема в том, что в реальности ни одному компьютеру не доступны бесконечная память и время. В реальном мире, время — это ключевой фактор. Да, любое мышление эквивалентно, если проигнорировать время. Да, создать копию человеческого разума можно на любой вычислительной системе, если только не обращать внимание на существующие ограничения по времени и объему памяти. Но если учитывать фактор времени, тезис следует переформулировать следующим образом: две вычислительные системы, оперирующие на совершенно разных платформах, не будут в реальном времени выдавать одинаковые результаты. Иначе говоря, единственный способ иметь две эквивалентные вычислительные системы — это запустить их на эквивалентных носителях. Физическая материя в основе вычислительной системы — особенно с увеличением сложности системы — во многом определяет тип мышления, который может быть хорошо выполнен этой системой в реальном времени.

Я готов утверждать, что единственный способ получить мыслительный процесс, максимально близкий человеческому — это запустить вычислительные процессы на «влажной ткани», максимально приближенной к человеческой. Большие и сложные системы искусственного интеллекта, запущенные на сухом силиконе, дадут нам большой и сложный разум, далекий от человеческого.

Допустим, мы ставим цель — создать копию человеческого разума. Нам придется создать «мокрую» ткань, приближенную к человеческому телу. Чем ближе искусственная ткань к человеческой, тем дороже будет ее изготовление и тем выгоднее будет попросту сделать человека. Это у нас и так уже отлично получается всего за 9 месяцев.

Разум, работающий на сухом силиконе вместо мокрого углерода, будет мыслить по-другому. Но я не считаю это проблемой — скорее, в этом-то и цель: умение мыслить иначе — главная ценность искусственного интеллекта. Говорить же, что ИИ «умнее человека» — неверно.

4. Интеллект невозможно развивать до бесконечности.

В основе идеи сверхчеловеческого интеллекта, который постоянно самосовершенствуется, лежит убеждение в том, что шкала интеллекта не имеет предела. Это особенно просто себе представить, если думать об интеллекте, как об одном измерении. Но я не вижу оснований для того, чтобы считать интеллект величиной, не имеющей предела. Нет никакой другой известной науке физической величины, которая не имела бы предела. Температура не бесконечна: есть минимальная и максимальная температуры. Пространство и время предельны. Скорость предельна. Разумно предположить, что и интеллект имеет предел.

Вместо того, чтобы думать об интеллекте, как о бесконечной величине, лучше думать о нашем собственном разуме как об одном из миллионов возможных разумов. Каждый из типов мышления имеет предел. Из сотен таких типов можно получить бесконечные разновидности разума, но ни один из них не будет бесконечным ни по какому измерению.

5. «Сверхинтеллект» не решит все наши проблемы.

Вот еще один миф, который люди слишком редко подвергают сомнению: сверхинтеллект будет способен решить все наши проблемы.

Многие из тех, кто ожидает прорыв в области искусственного интеллекта, ожидают еще и небывалый прогресс в целом в качестве следствия. Веру в этот миф я называю «thinkism» — «мыслизм».

Вот в чем ошибка «мыслизма»: чтобы перейти от незнания к знанию нужно куда больше, чем просто размышления. Огромное количество экспериментов, проведенных в реальном мире, дает нам море противоречивых данных и требует проведения дальнейших экспериментов, чтобы сформулировать правильные рабочие гипотезы.


Мысль и интеллект — это только часть науки, возможно, даже малая часть

Возьмем, к примеру, поиск решений для проблемы смерти. Изучение живых организмов занимает существенное время: медленный метаболизм клетки нельзя ускорить. На получение результатов уходят недели, месяцы и годы.

Конечно, искусственный интеллект ускоряет научный процесс. Мы можем создавать компьютерные симуляции и модели атомов и клеток. Но важно помнить: симуляции и модели могут быть быстрее, чем сами моделируемые явления, только когда мы игнорируем какие-либо аспекты и упрощаем реальность. Такова природа симуляций.

Тестирование этих моделей занимает долгое время, если они соответствуют изучаемым явлениям по сложности.

Системы искусственного интеллекта должны быть встроены в мир, и этот мир определяет возможную скорость инноваций. Без проведения экспериментов, построения прототипов, без провалов и без вовлечения в реальный мир, разум может получить мысли, но никак не результаты.

В заключение скажу, что я могу ошибаться в моих утверждениях. Все только начинается. Возможно, мы откроем универсальную метрику интеллекта и выясним, что интеллект не имеет пределов. Поскольку мы знаем так мало об интеллекте (не говоря уже о сознании), возможность выхода искусственного интеллекта из-под нашего контроля больше нуля. Но, на мой взгляд, данные указывают на то, что это маловероятно.

Распространенные мифы об искусственном интеллекте: разъяснения специалистов

Искусственный интеллект вызвал большой интерес со стороны делового мира и за его пределами, но существует также большое недопонимание по поводу этого значительного скачка в технологии.

Когда большинство людей слышат слова «искусственный интеллект», первое, что приходит на ум, — это всезнающая разумная машина, которая может перехитрить и одолеть любого человека. Искусственный интеллект — это нечто большое и страшное. Это угроза, которая отнимет у нас рабочие места и средства к существованию, заменит нас всех и в конечном итоге уничтожит человеческую расу.

Даже если это в конечном итоге окажется правдой, не стоит верить, что мы приблизились к этому сценарию. Эти мифы относительно ИИ на самом деле мешают нам строить с ним позитивные отношения.

Заблуждение № 1: ИИ активно ищет замену людям

ИИ сам по себе является технологией без воли. Он не стремится заменить рабочую силу более разумной и дешевой альтернативой. Это лучший постиндустриальный технический капитализм, а не ИИ. Может показаться, что разница небольшая, но она огромна. Во всем виноват ИИ, но капиталистическая парадигма гораздо более ответственна за угрозу нашим источникам существования, чем сама технология.

Заблуждение № 2: ИИ очень умен

ИИ может быть до смешного простым в своих приложениях. Он может быть фрагментированным и разъединенным, в отличие от микросхемы, усовершенствованной версии человеческого разума. ИИ может делать простые вещи, например, учиться играть в шашки, определять шаблоны в больших наборах данных или выполнять любые простые действия, которые требуют обработки большего количества данных, лучше, чем это может сделать человек. ИИ — не обязательно конкурент, пытающийся превзойти человеческий разум, но, возможно, это расширение наших чувств и способностей.

Заблуждение № 3: ИИ сложен для понимания

Кодирование для ИИ может быть очень сложным, но концепция его проста: это любая технология, которая имитирует наши естественные когнитивные способности. Неправильное представление здесь для большинства нетехнических людей состоит в том, что, как только ИИ вступает в разговор, мы говорим о стереотипных научных концепциях. Но он может быть очень простым. Если вы можете сравнить ум с когнитивным процессором, вы можете понять ИИ.

Думайте об этом так: ум силен в том смысле, что он не только изучает правила, но и создает эти правила и совершенствует их с течением времени, основываясь на опыте. Допустим, однажды вы попытаетесь добавить воды в кастрюлю, полную масла, в результате случится взрыв. Это то, что вы не захотите повторять. Никто не должен будет официально инструктировать вас не делать этого, двигаясь вперед. Из нежелательного исхода вы узнаете, что в следующий раз, когда вы окажетесь на кухне, вы выберете другой путь с большей вероятностью желаемого результата. Таким образом, все, что делает ИИ, имитирует то, что мы делаем в своей жизни.

Заблуждение № 4: ИИ достигнет сингулярности

Мы понятия не имеем, до какой степени ИИ будет развиваться со временем. Мы не знаем, насколько жестко будет регулироваться отрасль. И будет ли она продолжать фокусироваться на прямых приложениях для искусственного интеллекта. Хотя логично прогнозировать эту естественную непрерывную эволюцию ИИ в сторону сингулярности. Правда состоит в том, что мы наверняка не знаем дальнейший ход событий.

Из-за широкого спектра приложений и их сложности, ИИ — это не вещь, а множество вещей. Наш негативный уклон к неопределенности, усугубляемый угрозой неизвестности, вызывает у нас страх перед долгосрочными социальными последствиями сверхдисциплинарного ИИ.

Мы, конечно, можем видеть, как изменения, вносимые ИИ, медленно расползаются по всему миру, но мы не видим, чтобы он что-то заменял или забывал. Вместо этого, ИИ переводит команду на задачи, которые используют лучшие человеческие способности, а не на то, что медленно лишает нас творчества, спонтанности и глубокого критического мышления.

В вашем сценарии должно быть место и для искуственного интелекта, и для естественного познания, которые смогут работать вместе. Но этот сценарий также требует более саморефлексивного взгляда и более трансформирующего отношения к жизни в целом.

6 мифов связанных с искусственным интеллектом

Среди «горячих» новостей современности регулярно проходят сообщения об успехах искусственного интеллекта. Еще недавно казавшийся уделом писателей-фантастов автопилот достаточно уверенно управляет автомобилем и ставит диагнозы, точности которых позавидуют многие доктора.

ИИ можно определить, как технологию, которая симулирует действия человека в практических сферах жизни, типа распознавания речи, классификации различных объектов с помощью визуального сканирования и т.п. Осознание подобных тенденций ведет к появлению различных мифов, связанных с ним.

Миф №1: ИИ оставит людей без работы

Стивен Хокинг в свое время поделился опасениями на этот счет. Он считал, что искусственный интеллект сможет полностью заменить людей на рабочих местах. Сейчас уже есть процессы, поддающиеся автоматизации почти на 70%.

Однако, по некоторым данным, автоматизировать подобным образом можно только 1/7 часть всех существующих профессий. По этой причине даже самому жадному бизнесмену в обозримом будущем вряд ли удастся заменить на ИИ весь свой биоперсонал. С большой вероятностью искусственный интеллект изменит суть самой работы, а не количество вакансий на нее.

Миф №2: Роботы и ИИ являются одним и тем же

Роботами называются системы, используемые для повышения эффективности работы людей в сложных и агрессивных средах.


Проводя аналогию с человеком робот — это руки, а ИИ — это мозг, основанный на технологии, с помощью которой решаются нелинейные задачи, например: оценка качества выпускаемых изделий, одобрение кредитов или выбор поставщика и персонала и т.п.

Производственные роботы и интернет-боты вполне способны функционировать в режиме интеллектуальной автоматизации. Начиная какой-либо интеллектуальный проект, стоит выяснить цель, которую планируется достичь. С выполнением рутины прекрасно справятся простые роботы. А вот решение нелинейных задач потребует привлечения ИИ, отдельно или в связке с ними.

Миф №3: «Можно работать по-старинке»

Большинством людей автоматизация и ИИ воспринимается как что-то из параллельного мира. Однако, современный ИИ применим практически везде, только в разной степени. Например, одна пищевая корпорация с большой буквой М в логотипе использует его на всех уровнях своей бизнес-цепочки – от нахождения поставщиков до улучшения эффективности рекламы. Здесь экономия исчисляется сотнями миллионов долларов.

Перефразируя известное выражение, можно сказать, что сейчас миром владеет тот, кто владеет информацией и может применить ИИ для ее обработки.

Миф №4: ИИ может творить

Искусственный интеллект может делать хорошие имитации людских произведений искусства. Нейросети по силам отрисовать небольшой мультипликационный фильм по одному словесному описанию. Есть проекты, имитирующие творчество известных художников и композиторов, или дописывающие текст на основе имеющейся базы данных писем.

Но все созданное ИИ обязательно напоминает нечто, уже виденное или слышанное. Машине пока не по силам написать оригинальный роман или создать новый модный стиль.

Миф №5: ИИ угрожает человеческой жизни

Чрезвычайно непросто двигаться в ногу со временем. По этой причине большинство людей готово отдавать свое право принимать решения и делать выводы гениям науки, инженерной мысли и бизнеса, считающим, что ИИ действительно может нести угрозу для человека. Раз верят они, значит верят и остальные.

Пока большие корпоративные боссы используют ИИ только для получения сверхприбылей. При этом этичность не является приоритетом. Однако, в мире есть множество людей, желающих сформировать новое взвешенное отношение к искусственному интеллекту. Они предлагают при его обучении сфокусироваться на алгоритмах, влияющих на этические предпочтения.

Миф №6: ИИ очеловечится

У искусственного интеллекта есть неоспоримое преимущество перед человеком в области выполнения заданий, которые связаны с обработкой больших объемов информации. Благодаря этому он может побеждать в различных стратегических играх, заниматься финансами, работать синоптиком и учиться у человека.

Однако, пока это только отдельные технологические решения, которым не хватает широкого человеческого кругозора, позволяющего заниматься с переменным успехом различными делами, не имеющими между собой ничего общего. Если когда-нибудь ИИ сумеет преодолеть узость мышления, то вполне возможно, что он станет почти неотличим от человека.

5 распространенных мифов об искусственном интеллекте

Хотя разработки искусственного интеллекта (ИИ) велись в течение десятилетий, только в последние годы эта технология стала по-настоящему распространенной. Но чем чаще искусственный интеллект всплывает в новостях, тем больше мифов и заблуждений о нем появляется. Попробуем рассмотреть и развенчать наиболее распространенные из них.

Миф №1: ИИ — просто иное название робототехники

Одно из наиболее распространенных заблуждений об искусственном интеллекте гласит, что это — просто более сложный термин для определения робототехники. Многие люди, думая об искусственном интеллекте, представляют себе человекоподобного робота, который выполняет какую-то человеческую работу. Это — ошибка. Искусственный интеллект и робототехника — совершенно разные понятия, которые могут быть никак не связаны друг с другом.

Робот — любая программируемая машина, выполняющая действия автономно или полуавтономно. ИИ использует сложные компьютерные алгоритмы, чтобы чтобы выполнять задачи, которые обычно требуют интеллектуальной, а не физической работы. Думайте об искусственном интеллекте как о компьютерном мозге.

Робототехника и искусственный интеллект — совершенно разные технологии, которые могут пересекаться лишь в том случае, если ИИ будет управлять напрямую каким-либо роботом.

Миф №2: ИИ самостоятелен

Поскольку исследования в области ИИ становятся все более серьезными, а сама технология проникает в новые сферы жизни, у многих пользователей начинает формироваться иллюзия, что ИИ способен действовать и развиваться самостоятельно. Это не так. Работа искусственного интеллекта требует вмешательства человека.

Некоторые процессы в работе ИИ, действительно, могут быть автоматизированы. К примеру, персонализированные рекомендации в музыкальных сервисах. Но когда дело доходит до таких вещей как принятие критически важных решений в медицине, человек все еще важен. Дэвид Кенни, первый вице-президент IBM, утверждает, что технология не способна заменить человека в тех областях, где требуется человеческая интуиция или моральная оценка.

Миф №3: ИИ отберет у человека работу

Многие люди опасаются, что распространение ИИ вызовет массовую безработицу. Но, как уже говорилось, в некоторых областях искусственный интеллект пока не способен заменить человека. Более того, он для этого и не предназначен. Разработчики изначально создают ИИ не как замену человеку, а как помощника для него. В будущем люди и машины будут работать рядом. Это позволит человеку сфокусироваться творческих задачах, в то время как ИИ будет обрабатывать более рутинные дела.

Миф №4: ИИ используют только крупными компаниями

Поскольку технология искусственного интеллекта столь сложна, бытует мнение, что ИИ на данном этапе служит лишь интересам крупных компаний и технологических корпораций. В действительности, ИИ затрагивает очень многие аспекты наших жизней. Крупные компании, действительно, являются лидерами в разработке этой технологии, но все мы, так или иначе, с ней взаимодействуем. Самый простой пример — смартфоны с голосовыми ассистентами, которые помогают людям в повседневной жизни.

Миф №5: ИИ захватит мир

По крайней мере, в обозримом будущем никакой “ИИ-повелитель” не появится и не попытается покорить человечество. Хотя бы потому, что искусственный интеллект попросту не имеет собственной личности, и не заимеет ее еще очень долго.

Человеку свойственно с недоверием относиться к новым технологиям. Так, в начале 20 века газеты часто пугали людей ужасами телефонизации. В середине столетия все любили рассуждать о цивилизационной угрозе, которую таит в себе телевидение. Сегодняшний потенциал искусственного интеллекта просто огромен. Как и страхи, которые он провоцирует. Тем не менее, не стоит забывать о преимуществах, которые кроются в этой технологии.

Если когда-нибудь человечество продвинется в сфере лечения рака, управления климатом или создании огромных виртуальных миров, искусственный интеллект примет во всем этом самое непосредственное участие. Так что видеть в нем следует ценного помощника, а не угрозу.

Понравилась статья? Поделиться с друзьями:
Все языки программирования для начинающих