Рецензии на книги
Прогресс цивилизации заключается в увеличении количества важных действий, которые мы выполняем не думая. © Альфред Норт Уайтхед
/*
Автор Pedro Domingos — профессор Вашингтонского университета. Он является исследователем в области машинного обучения и известен марковской логической сетью, обеспечивающей неопределенный вывод.
Данная книга является КВИНТЭССЕНЦИЕЙ знаний. С ней вы пройдёте по истории мысли за последнюю сотню лет! Книга даёт ответы на важные для всех нас вопросы: Как мы учимся? Можно ли учиться эффективнее? Что мы способны предсказать? Можно ли доверять полученному знанию?
Лично я прочитал книгу дважды (первый раз в жизни) с перерывом около месяца. При первом прочтении первые 100 страниц я «проглотил махом», потом прочитав ещё страниц 60 (это уже была половина всей книги) я осознал, что перестал понимать суть прочитанного. И тут передо мной встал выбор: вернуться к тому моменту откуда я перестал понимать (60 стр. назад) или читать дальше. Я последовал совету автора, который рекомендовал пропускать те моменты, которые будут непонятны, так сказать для осознания «концептуальной модели».
Некоторые мыслители подобны лисам и знают много разного, а некоторые — ежам, которые знают что-то одно, но важное © Исайя Берлин
Я не понимаю того, чего не могу создать © Ричард Фейнман
Жизнь — это игра между вами и окружающими вас обучающимися алгоритмами. Можно отказаться играть, но тогда в двадцать первом веке вам придётся жить как в двадцатом. А можно играть и выиграть!
Всего 5 научных течений по изучению «ИИ»
«Верховный алгоритм» пяти направлений:
Символисты — обратная дедукция (проблематика: строгие логические выводы — всё или ничего), дерево решений — добавлено, синхронизировано
/* Классификатор (наборы классов по типу древа решений)
DeepMind научила играть в шахматы с помощью дерева решений. Дебютная книга — так-ли важен первый ход? В ходе матча 1997 года общая средняя скорость системы составляла 126 миллионов позиций в секунду. Максимальная установившаяся скорость, наблюдавшаяся в матче, составляла 330 миллионов позиций в секунду. */
Коннекционисты — обратное распространение ошибки, весА (изменение силы соединения между нейронами) — добавлено, синхронизировано
/*Перцептрон (обучение отдельного нейрона), машина Больцмана (на нейрон также воздействуют соседние нейроны с вероятностными значениями, и периодами бодрствования и сна), многослойный перцептрон (сигнал проходит через все нейроны на выход, потом от конечного нейрона распространяется назад, по методу обратного распространения ошибки), автокодировщик (скрытый слой намного меньше чем входной и выходной)*/
Глубокое обучение этого метода: многоярусные разреженные автокодировщики (скрытый слой больше входных и выходных, но не копирует информацию), также в этой цепи могут участвовать и многослойные перцептроны. — добавлено, синхронизировано
//AlphaGO — обратное распространение ошибки с глубоким обучением.
Эволюционисты — генетическое программирование, структуры — добавлено, синхронизировано
/*Системы классификаций (например: все письма со словом «бесплатно» — спам, все письма со словом «кредит» — мошенничество, мошенничество = спам, какой коэф. доверия к этому классу?)
Программа с подпрограммами (меняющимися с помощью мутаций и кроссинговера, по методу генетического программирования) */
P (a|b) = p(a) p(b|a) / p(b)
Сэр Гарольд Джеффрис писал, что теорема Байеса «для теории вероятности, то же, что теорема Пифагора для геометрии»
Байесовцы — байесовский вывод, наивный Байесовский классификатор — добавлено, ошибка[высказывание А. Эйнштейна] — обновлено, синхронизировано~80%.
Наивный Байесовский классификатор (Если известно следствие, то причины не взаимосвязаны) Широко распространён в Google, по сравнению с другими алгоритмами — добавлено, синхронизировано
Такое допущение создают потому что даже данных Big Data недостаточно, для вычисления всех вероятностей. — добавлено, десинхронизация[v.00025] — обновлено, синхронизировано
Все модели не верны, но некоторые полезны. © Джордж Бокс
Всё что существует — это прогрессирующее решение проблемы всеобщей оптимизации.}
Эксперимент в МИТ 2000 г. — изменение структуры мозга (глаза<-нейроны->уши)(Бен Андервуд) — добавлено, синхронизировано
Принципы строения мозга животного и человека одинаковы — добавлено, синхронизировано
Бедность генома — количество «букв» в геноме, в миллион раз меньше, количества соединений в мозге — добавлено, синхронизировано
С теорией единого строения коры согласны не все нейробиологи. — добавлено, синхронизировано
Обратный инжиниринг головного мозга — добавлено, синхронизировано
Биология и социология никогда не будут такими простыми как физика. — добавлено, синхронизировано
Множество Мандельброта — добавлено, синхронизировано
P и NP — задачи — добавлено, синхронизировано
Провальный эксперимент «Сайк» (англ. Cyc) — добавлено, синхронизировано
[Ноам Хомский утверждает что языку нельзя научить — он заложен эволюцией
"Бедность стимула"
В 1969 году Джим Хорнинг опроверг теорию Хомского
Нассим Талеб "кидает камень в огород" опровержения Хорнинга «Лебедь кусает робота»] — добавлено, синхронизировано
Вопрос Юма — Как в принципе можно оправдать экстраполяцию того, что мы видели, на то, чего мы не видели? — добавлено, синхронизировано
Теорема Беплатных обедов не бывает — ? — добавлено, синхронизировано
Когда мы получаем новую частицу знаний, она становится основой для логической индукции ещё большего знания. Единственный вопрос — с чего начать. — добавлено, синхронизировано
Принцип Ньютона: то, что верно для всего, что мы видели, верно для всего во Вселенной (работает уже более 300 лет) — добавлено, синхронизировано
Комбинаторный взрыв — геометрическая прогрессия — добавлено, синхронизировано
Спиновое стекло (если «спин» всех частиц в материале одинаков, то это магнит) — добавлено, синхронизировано
Смещение и дисперсия — добавлено, синхронизировано
При дедуктивном подходе мы из общего выводим правило(1), при индуктивном — из отдельного выводим правило(1) и общее(2)
22 =(-2)2= 4 — добавлено, ошибка[информация потеряна] — обновлено, синхронизировано
Проблема переобучения — так-ли важен последний ход? проклятье размерности — добавлено, синхронизировано
Сигмоида — самая важная кривая в мире. — добавлено, синхронизировано
Фазовый переход — добавлено, ошибка["технологическая сингулярность" Р. Курцвейл] — обновлено, синхронизировано
Градиентный спуск — локальные и глобальные минимумы гиперпространства — добавлено, синхронизировано
Нервная система червя из 302 нейронов картирована в 1986 г. — до сих пор до конца не понята — добавлено, синхронизировано
Кроссинговер — причины его существования в живых организмах и нужен ли он в не живых? (вирусы) — добавлено, синхронизировано
Тест Тьюринга — в отдельных сферах уже пройден и стандартный пройден в 2014 году Русскими из Питера -добавлено, синхронизировано
Дилемма изучения-применения — пользоваться верным решением, экспоненциально увеличивая частоту применения этого решения, одновременно с другим. — добавлено, синхронизировано
Проблема наследственности и воспитания (одно не предшествует другому, проходят циклические раунды — добавлено, синхронизировано)
Априорная вероятность в действии — в Америке 0,3% населения болеют СПИДом, погрешность теста 1%, если тест положительный, то это означает вероятность заболевания ~ 30% (0,003*0,99 / 0,01 = 0,297) — добавлено, синхронизировано
Вероятность — это субъективная степень убеждённости, по Байесу. (Вся проблема вначале, почему первое событие равно 1/2 — Вера!) — добавлен отдельный фрагмент, синхронизировано.
Цепь Маркова — добавлено, синхронизировано
СММ — скрытая Марковская модель (есть внешняя(наблюдаемая) модель и внутренняя(истинная), которую следует определить) — добавлено, синхронизировано
Фильтр Калмана (используется при непрерывном потоке) — добавлено, синхронизировано
МСМС — метод Монте-Карло в Марковских цепях стр 187 - добавлено, ошибка считывания[неизвестный формат файла] — десинхронизация = undefined;
Байесовская идея — объективной реальности вообще не существует. — добавлено, синхронизировано
Частотный и байесовский типы мышления — алгоритмы почти не различимы, но теоретически, в некоторых ситуациях один из методов нельзя использовать, хотя другой — можно. — добавлено, синхронизировано
Рей Курцвейл считает, что сингулярность начинается, когда люди перестают понимать, что делают компьютеры. По этому стандарту не совсем преувеличением будет сказать, что это уже происходит и началось ещё в 1951 году, когда Фикс и Ходжес изобрели метод ближайшего соседа — самый маленький алгоритм, какой только возможно изобрести. — добавлено, синхронизировано
Далее начинается область гиперпространства примерно с 200 стр. - десинхронизация = undefined;
Проклятье размерности — «благословение неравномерности»(природное) (из 3D можно сделать 2D) — добавлено, синхронизировано
Кластеризация — понижение размерности — добавлено, синхронизировано
Обучение с подкреплением — способность алгоритма оценивать текущие события исходя из конечного результата. Текущее состояние переходит в «более выгодное» к конечному. Весьма похоже на дерево решений, но близко к "настоящему" обучению. — добавлено, синхронизировано
Можно обернуть «обучение с подкреплением» в «обучение с учителем» для предсказания будущих неизвестных состояний на основе аналогии — добавлено, синхронизировано
Степенной закон — время затраченное на обучение вначале даёт более весомые результаты, первые 20% дают 80% результата (Благодаря образованию фрагментов) — добавлено, синхронизировано
Реляционное обучение — объединение всех данных в одну общую сеть и выделение из неё частых случаев (более мелких групп) добавлено, синхронизировано
Метаалгоритмы: стэкинг, бэггинг, бустинг. — добавлено, синхронизировано
Дети до 3-х лет и дуализм
Логическая сеть Маркова — добавлено, синхронизировано
P = ewn / Z стоит иметь ввиду (R/η) * ml = (rc2) / (2G), где R — внешняя информация, η — внутренняя информация, ml — масса частицы Планка futurict.inn.ac
Запустить симуляцию Удалить алгоритм
recursiō(1);
Доп. литература: Об интелекте 2016 Джефф Хокинс
Эволюция разума 2015 Р. Курцвейл
Переломный момент: Как незначительные изменения приводят к глобальным переменам. М. Гладуэлл
Непротиворечивость (Consilience) Эдвард Уилсон — всеобщая взаимосвязь
Гёдель, Эшер, Бах: эта бесконечная гирлянда 2001 Д. хофштадтер — всеобщая взаимосвязь
P.S. Мы как слепцы рядом со слоном: один щупает хобот и думает что это змея, другой прислонился к ноге и считает что это дерево, ещё один потрогал бивень и считает что это бык.