Как учится машина. Революция в области нейронных сетей и глубокого обучения. Ян Лекун. Yann Le Cun

Как учится машина. Революция в области нейронных сетей и глубокого обучения. Ян Лекун. Yann Le Cun

Электронная книга http://flibusta.is/b/637345
8  главные идеи обзора

1. у изобретателей систем искусственного интеллекта  возникла идея смоделировать человеческий мозг с его способностью к обучению. 

Так зародилось направление глубокого обучения (deep learning) и искусственных нейронных сетей.

2.  Искусственные нейронные сети работают так: они улавливают входной сигнал и обрабатывают его таким образом, что на выходе этот сигнал идентифицируется.

3. В многослойной нейронной сети первичные слои выступают в роли экстракторов признаков, которые создаются не вручную, а автоматически — в процессе обучения.

4. ИИ обладает широкими возможностями анализа, распознавания и автоматической классификации. Многие функции ИИ уже перестали быть инновациями, превратившись в привычные и удобные составляющие нашей жизни.

5. В ближайшем будущем ИИ будет наиболее активно развиваться в четырех направлениях: медицина, автономный транспорт, виртуаль­ные помощники и бытовые/промышленные роботы.

6. Обучение с учителем не позволяет создавать действительно интеллектуальные машины.

7. Обучение с подкреплением (методом проб и ошибок) эффективно только для игр. В реальном мире оно бессмысленно и даже опасно.

8. Машины не захватят мир, если человек не заставит их это сделать. Стремление к доминированию не имеет ничего общего с высоким интеллектом.

мозг компьютера не обладает гибкостью и универсальностью человеческого мозга. Компьютерные нейроны — всего лишь математические функции, рассчитанные программой.

А самые сложные и мощные компьютеры — узкопрофильные машины. И главное — у машин нет ни грамма здравого смысла. О том, что из себя представляют машины сейчас и чего ждать в будущем, вы узнаете из обзора книги «Как учится машина».

Три причины познакомиться с обзором:

• Реально оценить возможности искусственного интеллекта.
• Увидеть, как ИИ уже сегодня работает в нашей обычной жизни.
• Окунуться в мир машинного обучения и понять, почему восстание машин в ближайшее время нам не грозит.

Суперкомпьютеры объединяют десятки тысяч графических процессоров производительностью в десятки терафлопс. Их процессоры достигают скорости в сотни тысяч терафлопс.

 Они прогнозируют погоду, рассчитывают воздушный поток вокруг самолета, моделируют прошлое, например начало существования Вселенной.

Все эти сложные манипуляции включают численное решение дифференциальных уравнений или уравнений в частных производных.

 Программы искусственного интеллекта могут учиться, но пока намного хуже и медленнее людей и даже животных.

София — красивая девушка-гуманоид с загадочной улыбкой и живой мимикой в 2017 году давала интервью журналистам и очаровывала саудовских шейхов, которые даже дали ей гражданство страны.

София — просто марионетка, в которую программисты залили набор стандартных ответов на множество вопросов. Ей что-то говорят, и программа сопоставления быстро выбирает из каталога наиболее подходящую реакцию.

Машины пока еще выполняют действия, не понимая, что они делают, поскольку не обладают здравым смыслом.

Этот обзор дает ответы на вопросы: как учится машина?

Догонят ли нас компьютеры по интеллектуальным способностям?

Если это произойдет, то как скоро? И стоит ли нам опасаться господства машин в будущем?(Эволюция машинного обучения)

Пионеры машинного обучения стали работать над созданием оригинальной архитектуры сети математических функций, которые назвали искусственными нейронами.

Они улавливают входной сигнал и обрабатывают его таким образом, что на выходе этот сигнал идентифицируется.

Любая операция, например распознавание образов, поддерживается комбинированным взаимодействием искусственных нейронов.

(Глубокие сети).

Чтобы приблизить деятельность ИИ к работе мозга, недостаточно было воссоздать его строение.

Нужно было сделать системы способными к обучению по аналогии с механизмами обучения человеческого мозга. 

Так возникло направление глубокого обучения (deep learning) и искусственных нейронных сетей.

На механизмах глубокого обучения и нейронных сетей работают современные компьютерные системы, включая автономные автомобили.

исследователи стали накладывать несколько слоев нейронов друг на друга, чтобы машины могли решать более сложные задачи. Принцип обучения остался прежним: параметры сети настраиваются таким образом, чтобы система допускала минимум ошибок.

Сквозное обучение многослойных сетей — это так называемое глубокое обучение, или обучение преобразованию входных данных в осмысленные представления.

В простейших многослойных сетях все нейроны одного слоя связаны со всеми нейронами следующего слоя.

В многослойной сети первичные слои выступают в роли экстракторов признаков, которые создаются не вручную, а автоматически — в процессе обучения.

 Функциональность многослойных нейросетей лучше всего иллюстрируют примеры, связанные с распознаванием изображений.

Проанализируем примеры различного написания букв C и D с помощью двухслойной сети, чтобы показать, как единицы первичного слоя могут обнаруживать шаблоны, характерные для C и D. Перцептрон при решении подобной задачи ошибался, если варианты написания C и D слишком сильно различались по форме, положению или размеру. Однако если добавить еще один слой нейронов, проблема будет решена. Нейроны первичного слоя будут находить паттерны, характерные для C и D. Такие детекторы создаются автоматически, потому что в сети используется обратное распространение, которое автоматически обнаруживает отличительные особенности или шаблоны.

Например, непрерывная линия с двумя открытыми концами характерна только для C. Наличие линий, образующих близкий к прямому угол, указывает на D и т. д. Первый слой ведет себя как экстрактор признаков, а второй — как классификатор, но все уровни сети обучаются одновременно.

(Сверточные сети).

Неотъемлемой частью глубокого обучения стали сверточные нейронные сети — особый тип нейронных сетей, нацеленный на распознавание образов.

Для сверточных сетей характерны:

• особая архитектура соединения — иерархия простых и сложных нейронов, смоделированных по образцу клеток зрительной коры;

• сквозное обучение системы, которое меняет архитектуру сети;
• возможность обучения на изображениях с несколькими символами (например, почтовый индекс) без необходимости сегментировать символы друг от друга.

Ян Лекун построил свои первые сверточные сети в 1988 году и протестировал их на небольшом наборе данных.

Однако широкое распространение они получили лишь в 2012 году. В наши дни сверточные сети присутствуют в большинстве систем распознавания изображений. В том числе они позволяют сегментировать медицинские изображения.

В 2015 году в Массачусетском технологическом институте реконструировали нейронные цепи части сетчатки кролика, трехмерное изображение которой было получено с помощью электронной микроскопии совместно со сверточными сетями.

Ученые из Нью-Йоркского университета используют сверточные сети для маркировки МРТ тазобедренного сустава.

(Машинное обучение сегодня).

Искусственный интеллект в наши дни обладает широкими возможностями анализа, распознавания и автоматической классификации. Он помогает людям решать разнообразные задачи, которые они раньше выполняли сами.

Многие функции ИИ уже превратившись в привычные составляющие нашей жизни. Вот некоторые из них.

Распознавание изображений

Кажется, нет ничего проще, чем набрать слово в поисковой системе и получить на экране изображения. Однако эта элементарная задача выполняется за счет мощной системы искусственного интеллекта.

Выдавая ответы, оптимально подходящие для запроса, сверточная сеть сначала просматривает многие миллионы изображений.

В Google такая система работает непрерывно. Она просматривает коллекции фотографий и других изображений в интернете и обрабатывает их с помощью сверточной сети, которая занимается их идентификацией.

В Facebook несколько сверточных сетей ежедневно анализируют миллиарды изображений, загружаемых на их сайт.

Google и Facebook собирают миллионы изображений и сначала помечают их вручную.

Когда Google задает вам вопрос: «На каком изображении вы видите светофор?», вы тоже вносите свой вклад в эту работу. Инженеры используют эти данные для обучения сверточных сетей, чтобы те могли помечать миллиарды изображений, которые не были помечены вручную.

Так, Google и Facebook создают списки тегов, хранящиеся на серверах их центров обработки данных.

Вы вводите в строку поиска «статуя свободы» и мгновенно получаете множество изображений этого монумента, потому что библиотека изображений с надписью «статуя свободы» уже существует, как и списки изображений для миллионов других слов и словосочетаний.

Метаданные упрощают визуализацию фотографии. Турист, который гуляет рядом с Эйфелевой башней, вероятно, сфотографируется рядом с ней, а не у египетской пирамиды.

Распознавание речи.

Звуковой сигнал на входе преобразуется в последовательность чисел.

Такие последовательности называют образцами, каждый из которых показывает давление воздуха на микрофон в опре­деленный момент времени. 

Для речевого сигнала нужно 10 тысяч образцов в секунду. Большинство систем распознавания ре­чи сначала обрабатывают эту последовательность по аналогии с внутренним ухом человека.

В процессе преобразования звука создается представление сигнала, которое передается в нейронной сети.

Каждый разговорный язык можно представить как последовательность фонем. Каждая фонема состоит из набора элементарных звуков — фонов.

Язык может содержать до 3 тысяч таких фонов, потому что звучание обусловлено фонетическим окружением.

Сверточная сеть, которая называется в системах распознавания речи акустической моделью, относит звук к одной из этих 3 тысяч категорий.

Она выводит список из 3 тысяч оценок, показывающих вероятность того, что данный звук относится к одной из 3 тысяч категорий фонов.

Так, выход сети представляет собой вектор из 3 тысяч компонентов каждые 10 миллисекунд.

Любую фразу можно представить в виде изображения, размер которого зависит от длины фразы.

На выходе сети получается последовательность векторов переменной длины из 3 тысяч компонентов. Затем из этой последовательности нужно извлечь ряд слов.

Для этого используются словесные и языковые модели.

Языковая модель, которую обучают на разговорных фразах, указывает, какие последовательности слов возможны (или наиболее вероятны) в том или ином языке.

Для преобразования последовательности элементарных оценок звука в последовательность слов используется декодер, ищущий среди последовательностей слов с максимальной оценкой ту, которая соответствует последовательности слов, наиболее вероятной с точки зрения языковой модели.

Сверточные сети присутствуют почти во всех приложениях, где используется речь.

Виртуальные помощники, например Алекса, преобразуют запросы в текст для дальнейшего их анализа системой.

Понимание языка.

Для понимания запроса недостаточно просто расшифровать звуки. Виртуальный помощник должен правильно классифицировать сам запрос — расшифровать его содержание и смысл.

Пользователь спрашивает (а система записывает): «Какая погода будет завтра?», или: «Завтра пойдет снег?», или: «Завтра будет холодно?».

Виртуальный помощник должен «понять», что все эти запросы означают одно и то же — «дать прогноз погоды на следующий день».

Инженеры Amazon задали для Алексы около 80 различных намерений: позвонить кому-нибудь, дать информацию о пробках на дороге, выбрать радиостанцию, включить песню...

 Намерение распознается, и сервер Amazon выполняет соответствующую задачу.

Определение намерения необходимо и при поиске информации.

Этим занимаются нейронные сети-трансформеры.

Вы вводите в строку браузера «население Исландии».

Запрос обрабатывается нейронной сетью Google, которая представляет его значение в виде списка чисел или вектора.

Сеть сравнивает этот вектор с векторами контента из миллиардов страниц в интернете.

Если обнаруживается сходство, контент отображается поисковой системой.

Языковые модели используются также для систем перевода и создания текстов.

Наука.

Глубокое обучение широко используется в разных науках: в астрофизике (классификация галактик),

материаловедении (создание метаматериалов),

нейробиологии (понимание механизмов восприятия в головном мозге) и т. д.

Особенно успешно применяется глубокое обучение в биомедицине: например, для предсказания пространственной структуры белков.

Белки, состоящие из разнообразных аминокислот, — основа клеток живых организмов.

Они синтезируются на основе структуры генов (последовательности нуклеотидов в ДНК).

После формирования белки приобретают определенную конфигурацию, чтобы взаимодействовать с другими белками и выполнять различные функции.

Чтобы найти новые препараты или методы лечения, которые бы препятствовали или, напротив, способствовали сцеплению белков, нужно предсказывать биохимические механизмы, которые обеспечивают правильную конфигурацию белков.

С этим эффективно справляются нейронные сети, например AlphaFold от DeepMind.

Машинное обучение в будущем.

Чтобы сравняться по мощности с человеческим мозгом, придется объединить сотню тысяч процессоров, и этот гигантский компьютер будет потреблять в миллион раз больше энергии, чем человеческий мозг.

Исследователи ИИ в ведущих мировых лабораториях имеют доступ к подобным вычислительным мощностям, однако пока технически сложно сделать так, чтобы все эти процессоры одновременно работали над одной задачей.

(Основные области применения).

Сегодня промышленные компании заинтересованы в развитии ИИ в четырех основных направлениях:

медицина, автономный транспорт, виртуальные помощники и бытовые/промышленные роботы. 

ИИ уже оказал значимое воздействие на первые два направления — медицину и вождение автомобилей, но это только начало пути.

Пока автономные модели все еще остаются экспериментальными.

В большинстве случаев автономное движение автомобиля должно контролироваться человеком, готовым перехватить управление.

Вероятно, автономные системы вождения пройдут три этапа развитвож

• Большая часть системы будет программироваться вручную, а глубокое обучение будет использоваться только для восприятия изменяющейся информации, например о погоде и пробках.
• Больше внимания будет уделяться обучению.

• У машины появится достаточно здравого смысла, чтобы автономное управление стало безопаснее человеческого.

Разработка виртуального помощника еще более ограниченна. Чтобы быть не просто игрушкой, а настоящим ассистентом, он должен обладать интеллектом, равным человеческому, в сочетании со здравым смыслом.

Пока даже роботы-пылесосы не вполне автономны. Они запутываются в проводах, застревают под стулом и не могут сами очистить бак или заполнить контейнер водой. Это абсолютно нера­зумные существа.

 Появление интеллектуальных роботов возможно, лишь когда они научатся учиться не менее эффективно, чем человек, и когда будут созданы модели мира, которые позволят роботам планировать сложные действия.

(Изменение подхода к обучению машин).

Сегодня в сфере ИИ, как правило, используется обучение с учителем — жалкое подобие обучения людей или животных.

Чтобы на­учить систему распознавать объекты, нужны тысячи или даже миллионы изображений таких объектов. К тому же примеры сначала приходится идентифицировать и помечать вручную.

Тысячи аутсорсеров тратят сотни тысяч часов на маркировку изображений, перевод текстов, ввод данных, чтобы машина научилась делать то же самое. Обучение с контролем эффективно, лишь когда данных достаточно.

Эксперименты показали: незначительное изменение дорожного знака «стоп» может привести к тому, что некоторые нейронные сети перестают его обнаруживать.

Такая избирательная «слепота» ставит под сомнение безопасность автономного вождения.

Таким образом, обучение с учителем не позволяет создавать действительно интеллектуальные машины.

Некоторые исследователи видят решение проблемы в обучении с подкреплением — методом проб и ошибок.

Этот вид обучения позволяет обучать машину, не подсказывая ответа, а лишь информируя компьютер о правильности конкретного ответа.

Вы хотите научить робота поднимать предметы. Нет смысла постоянно указывать машине, как приводить в действие ее двигатели для выполнения задачи. Робот сам может оценить, был ли объект действительно поднят. Он опробует одну стратегию. Если она не сработает, попробует другую.

Робот будет повторять процесс до тех пор, пока стратегия не сработает надежно.

Этого можно достичь с помощью нейронной сети, входными данными которой будут изображение сцены и датчики положения, силы и касания робота, а выходными данными — команды, отправляемые двигателям.

Оценка успеха — это своего рода награда или наказание для машины и напоминает дрессировку животного.

В случае с машиной награда или наказание — это число.

Оно положительное, если ответ верный, и отрицательное, если ответ неправильный. Проблема в том, что машина не знает, в каком направлении изменить свой результат, чтобы улучшить награду, поэтому она предпринимает новые попытки, видит влияние новой тактики на награду и меняет свое поведение, настраивая параметры нейронной сети так, чтобы награда стала максимальной.

Обучение с подкреплением эффективно для управления роботом или игры.

Мы пишем программу, которая учит машину играть в шахматы по правилам, с системой обучения, определяющей, какие ходы скорее всего приведут к победе.

 Поначалу такая система не обучена и играет не очень хорошо, но мы заставляем ее играть против самой себя многие тысячи раз.

В первых партиях игрок побеждает, скорее, случайно, но он обучает свою систему повторению или усилению успешной стратегии. При наличии достаточного количества современных компьютеров, работающих параллельно, система может сыграть миллионы партий за считаные часы. В итоге система приобретает сверхчеловеческие способности.

Обучение с подкреплением эффективно для игр, поскольку их можно запускать на многих машинах одновременно.

Как и в случае обучения с учителем, достижение сверхчеловеческих способностей требует огромных ресурсов и множества межсистемных взаимодействий.

Сотрудники DeepMind обучили систему игре в 80 классических видеоигр.

Чтобы научиться играть в каждую игру, система тратила около 80 часов, а человеку требовалось всего 15 минут, чтобы сделать то же самое.

Однако если вы позволите системе учиться дальше, рано или поздно она достигнет высот, превосходящих человеческие возможности.

Обучение с подкреплением кажется перспективным методом обучения без учителя. Однако в реальном мире оно бессмысленно и даже опасно.

Если бы вы захотели научить машину самостоятельному вождению, ей пришлось бы проехать миллионы часов и попасть в десятки тысяч аварий, прежде чем она научилась бы их избегать.

Машина упадет в пропасть, а система выдаст отчет об ошибке и немного скорректирует стратегию. В следующий раз машина протаранит заграждение и спикирует в море, и система снова бесстрастна.

Автомобиль должен упасть с высоты тысячи раз, прежде чем система поймет, как избежать падения. Люди же в среднем учатся водить автомобиль за 20 часов практики при небольшом стороннем контроле и без аварий.

ИИ имеет поверхностное представление о мире, не умеет прогнозировать развитие событий и в принципе не осознает, что именно он делает.

Что ждет нас в будущем?

Останутся ли люди без работы?

Во времена промышленных революций исчезают одни виды деятельности и возникают другие.

Искусственный интеллект не только вытеснит некоторые существующие профессии, но и приведет к появлению новых, которые пока даже трудно себе представить.

Всего 20 лет назад невозможно было вообразить, что на сервисах вроде YouTube тысячи людей будут зарабатывать деньги, а Facebook и Instagram позволят специалистам в разных областях находить клиентов по всему миру.

Экономисты утверждают, что через 10–20 лет ИИ окажет значительное влияние на производительность труда, даже если за эти годы не произойдет значительных изменений в области компьютерных технологий.

 скорость внедрения технологий общего назначения в экономику ограничивается временем, которое требуется работникам, чтобы научиться ими пользоваться. Этот процесс может занимать от 15 до 20 лет.

Увеличение производительности в области вычислительной техники началось только в середине 1990-х, когда широко распространилось использование клавиатуры и мыши.

Чем больше становится профессий, находящихся под угрозой исчезновения, тем медленнее влияет технология на экономику.

Однако уже сегодня стоит начать готовиться к использованию ИИ — вкладывать средства в образование на всех уровнях: в школах, университетах и в системе повышения квалификации.

Нужно подготовить людей к трансформации и создать технологическую и научную «экосистему», благоприятную для инноваций.

Захватят ли роботы мир?

Однозначно нет.

Опасаясь машин, рвущихся к власти, мы проецируем на них особенности человеческой природы.

Выживание и комфортная жизнь каждого человека зависят от его способности влиять на других представителей своего вида.

Однако люди — существа социальные, но не все животные такие.

Орангутаны — несоциальный вид обезьян. При этом их интеллект достаточно высок, а мозг лишь вдвое меньше человеческого.

 Орангутаны живут поодиночке и избегают общения с другими обезьянами. Все их социальное взаимодействие заключается в отношениях матери и ребенка на протяжении двух лет и территориальных спорах.

Эволюция не сформировала у орангутанов стремления доминировать над ближним: у них нет социальной структуры, а значит, от доминирования нет никакой пользы.

Пример орангутанов показывает, что можно быть умным, не стремясь к господству.

Кроме того, и у людей стремление к доминированию не связано с интеллектом напрямую.

Умные люди не всегда стремятся стать лидерами. Лучших ученых часто приглашают на руководящие должности, а они отказываются. Им комфортнее заниматься исследованиями.

Разумные машины будут стремиться к господству над человеком, только если мы заложим в них это желание.

Об авторе

Ян Лекун — французский ученый в области машинного обучения, робототехники и нейробиологии. Лауреат премии Тьюринга за формирование направления глубокого обучения, один из создателей технологии сжатия изображений DjVu.