Записался на обучение по Data Science.
Обычно человек ходит по колее, но иногда система сбоит и случаются «эмм, а чё я раньше не задумывался, что можно…» и «хм, а ведь можно попробовать сделать…». В такие моменты можно выскакивать за пределы колеи и переходить в новую более интересную, выходить из зоны болотного комфорта в зону воодушевляющего дискомфорта.
Всегда ходил по колее (вернее, замкнутому циклу): математика не моё, у меня много своих преимуществ, математик не в их числе, не всем дано. И к нему прицеплялось: машинное обучение, нейронные сети, статистика и тер.вер. требуют математики – ну, значит, тоже не мое, ну значит без этого. А тут че-то осенило: а какого хрена!? Кстати, тот случай когда реклама сподвигла (назойливая реклама курсов обучения по Data Science). Сначала отмахивался, а в какой-то момент подумал: а почему бы и нет? – Да, страшно, да лень, да не уверен, что получится, да долго, да нет уверенности, что поможет и т.д. Хорошо подумал, уверенным движением руки смахнул все эти иррациональные возражения и страхи со стола и записался на курс.
Так что скоро, надеюсь, например, не буду просто пролистывать посты уважаемого А.Г., а, возможно, буду извлекать смысл.
Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.
Глаза загорелись. Будет интересно.
dan◦fox, выбирал между:
— Школа анализа данных от Яндекса.
— Курс от Нетологии.
— Курс от SkillFactory.
— Курс от GeekUniversity.
Если интересно, на каком остановился — спросите в личку. А то напишешь — как обычно начнется: не то ты выбрал, надо было вот это))).
K., критерии:
— уровень скиллов на входе — по этому критерию сразу отвалился Яндекс, потому что там уже на входе нужно очень хороший уровень показать. И ещё один отвалился.
— а дальше — ну программа, преподы, формат, цена, рассрочка по цене, общие неформализуемые впечатления.
Ну ладно, короче выбрал GeekUniversity от Мэйл.ру.
K., Ну и изначально выбирал хорошее — чтоб уже была серьезная фирма и курс масштабный, чтоб было все — хорошая математика, хороший дата-саенс и прочий машин-ленинг, много практики. Формат чтоб был эффективный — тут тебе и менторы и обратная связь и проекты практические на реальных кейсах и данных. Да и трудоустройство просто так на пустом месте не гарантируют.
Я видел в пиратских копиях все четыре упомянутых вами, только ШАД показался адекватным.
А так, можно и на kaggle поучиться - https://www.kaggle.com/learn/overview
Чего словил?
Это хоть не заразное?
Георгий Беседин, С удовольствием). Какого рода успехи интересуют?)
На курсе по знакомству с библиотеками по машинному обучению по качеству предсказания обученной модели занял первое место среди студентов моей группы) — но вряд ли вы про такие успехи). Вообще непосредственно про машинное обучение было ещё не так много предметов, как ни странно. Щас математики много всякой. Были инфраструктурные предметы. Очень неплохо прокачался по многим вопросам. Есть один момент, в связи с текущими событиям на рынке акцент сместил в сторону рынков, поэтому по паре предметов отстал от реального времени — надо нагонять, ну и в мотивации как-то просел — и из-за обилия математик, которые не совсем мое, как оказалось и из-за рынка. Думаю, когда пойдут более релевантные предметы, в смысле более специализированные, былой огонь в глазах вернется.
А так, рекомендую учиться, для меня это стало открытием, реально загорелись глаза, новые горизонты, где-то сразу видишь перспективы и интерес, а где-то не так явно, но потом когда сталкиваешься понимаешь, что нужные вещи.
В общем намного свободней себя чувствую по многим вопросам, если чисто по технике — запилить какое-нить приложение, в т.ч. с использованием базы данных или с API синтегрироваться — не пугает. Запилить бэктестер на pandas — если не сильно замороченный — без проблем. Покрутить данные с графиками, табличками и т.д., не в Экселе, а с использованием более мощного инструментария — уже могу. Несложные модели без какого-то пока глубокого понимания нюансов — могу.
Если что, если вдруг вопрос в этом, грааль пока не найден в этом направлении, но я и не ищу).
Ответил?) Или про другое спрашивали?)
1. Удалось ли поступить на бесплатное?
2. Какие вопросы были на вступительном экзамене?
3. Насколько удачно был сдан вступительный экзамен?
4. Какие разделы математики проходят?
5. Сколько времени в неделю уходит?
6. Если Вы далеко не студент в плане возраста: есть ли проблемы при общении с молодежью?
7. Если работаете, то нашлось ли применение полученным знаниям в работе?
aks19, Как вас много в такую старую тему забрело?)
1. И не пытался, онлайн платное обучение.
2. Не было вступительных. Были подготовительные курсы чтобы дорасти до требуемого начального уровня.
3. -.
4. Линейная алгебра, мат. анализ, тервер, матстат, что-то еще по чуть-чуть.
5. На д.з. обычно прилично, часами сидишь. Но некоторые предметы полегче.
6. У нас там все далеко не студенты по возрасту, но и в то же время не настолько далеко, чтоб если бы не этот момент, это вызывало бы какие-то сложности непреодолимые.
7. Нашлось, конечно).
По времени затрачиваемому хотелось бы уточнение.
В ШАД от Яндекса говорят, что надо 30 часов в неделю.
На выбранных Вами курсах уходит больше или меньше?
aks19, Поменьше, не замерял никогда, но раза в два меньше или даже ещё в больше раз меньше). ШАД суровая штука).
Ну и тут как, материала и возможностей дают придостаточно, а дальше сам. Можно просто прослушать материал и как-то попытаться выполнить домашку, в частности что-то можно загуглить. Это одно время, можно прослушать, потом перематывать непонятные моменты и ещё раз слушать. Методичка — можно читать, можно не читать. Доп. материалы и ссылки — можно читать и это прилично доп. времени, можно не читать. Домашку — там есть обязательные, есть необязатальные, опять же вариативность. У меня наверно часов 10+ щас уходит. Раньше больше уходило. Но найти куда потратить 30 часов тоже не проблема, если есть возможность/желание).
как изменение климата, квантовая телепортация, клонирование и прочий несуществующий шлак. но ты изучай конечно. это очень полезно для трудоустройства в биг кампани, чтобы там с умным видом нихрена не делать, как и все.
big data is peace data
И какой объем обучения?
В двух словах можете объяснить что такое Data Sceince и чем это всё отличается от обычного высшего образования, включающего:
а) Мат. стат. + моделирование + верификация+валидация
б) Мат. анализ + численные методы
Что нового? После KNN, SVM, AR (Arima и т.д.), нейронных сетей, деревьев, графов?
На coursera же бесплатно, если сертификат не получать.
P.S. Посмотрел их сайт. По мне, так много лишнего, такого, что на рыночке не пригодится. Но, с другой стороны, вдруг Вас вообще это заинтересует само по себе.
P.P.S. Посмотрел программы всех 4 Ваших «Университетов». Самая компактная и подходящая, как мне показалось, нетология. Яндекс реально сложен, у меня дочь 1 курс отучилась и сказала, что поняла, что это ей не интересно. Но после ВМК она достаточно была подготовлена, чтобы без моей помощи учиться.
в последнее время народ любит постить квант-ориентированный контент. видимо, пришло время бигдейты. а в коммент имелись ввиду критерии в ключе AIC
З.ы. и да, сегодня кто чего только к трейдингу не прикрутит (это не в адрес Афтара, сразу оговорюсь).
тоже надо пойти по-прикручивать, по америке спот-кривую дождусь на клоз и летс гоу.
Cristopher Robin, Если бы у меня не было внутреннего стержня и внутреннего компаса — наверно бы даже расстроился от вашего сообщения)).
Во-первых, тут с условного нуля стартуют.
Во-вторых, я не рвусь в олимпийские чемпионы)).
В-третьих, видел много людей, с отличным бэкграундом, но скучно его использующих — никакого креатива, никакой смелости, никакой экспрессии, не производят новые знания, в то время как я могу и без мат. подготовки феерить)). А уж с ещё одним инструментом (вернее, букетом инструментов) будет ещё интересней.
Забавно но седой и строгий PhD заявляет что там больше data чем science.
И что главное это любопытство.
Но хотя бы весь доступный инструментарий стоит поизучать чтобы не тратить время на изобретение велосипедов.
Хотя мне кажется что если бы всё было так просто — прикрутил ИИ и стал колбасить только в плюс, то давно или бы фонды такие появились которые скупили весь мир, или вообще все биржи прекратили существование.
Но может эта мысль и не верна. В шахматы-то всё равно люди играют друг с другом, хотя компьютеры уже играют лучше.
А мы на бирже уже непонятно с кем соревнуемся. Не то с людьми, не то с компьютерами..
Вобщем, сам не знаю что сказать хотел. Удачи, держи в курсе.
Хотелось бы мне лично накопать что-то на тему ИИ и money/risk management в применении к фьючерсам.
ПBМ, >>«Удачи, держи в курсе.»
спасибо!)
Все, конечно, не просто. Это точно не магическая пилюля. Просто ещё один инструмент, но с большим потенциалом. И, думаю, его надо применять не в лоб — не тупо прогнозировать временной ряд на основе исторических данных, а что-то поинтересней, есть уже несколько задумок).
Добрый, а это смотрели? https://www.coursera.org/specializations/machine-learning-data-analysis
скажите, я так понимаю, обучение у вас онлайн. ногами даже раз в месяц никуда ходить не нада?
я в данный момент обучаюсь. Параллельно учусь по книгам. Могу сказать, что это намного, НАМНОГО сложнее чем кажется поначалу.
Дело в том, что надо очень неплохо натаскивать математику, причем из разных областей. С самого начала Вы должны знать такие вещи как обратная матрица и т.д., в противном случае будут смущать и вводить в ступор какие-нибудь формулы функций-издержек сводящие значение к минимуму. Поставить гиперпараметры на решетчатом поиске не понимая их смысл — это обезьяна с гранатой.
В общем DS это больше математика/статистика, чем программирование. Хотя и последнее надо знать хорошо. Так что будьте готовы.
WRK, А вы где учитесь?
В моем курсе обещают, что в самом курсе дают то что нужно для непосредственно ML и прочего DS. Программу читал — там есть и про матрицы и прочее — несколько разделов математики будем затрагивать. Ну и надо думать, что сначала математику затрагивать, а потом темы где она уже должна быть у тебя затронута)).
Про «НАМНОГО сложнее» — я догадываюсь)), хотя гоню эту мысль)), вернее игнорировал её когда принимал решение, а дальше в омут с головой)).
И как у вас с математикой проходит? - Или у вас на входе был неплохой уровень? Как вообще в целом продвигается? — уже что-то можете практическое? — Энтузиазм сохраняется?
Replikant_mih, учусь на одних из курсах (не хочу делать рекламу), их кстати большее количество, чем указано у Вас.
Уровень математики входной у меня был низкий, но тк знал основы эконометрики не могу сказать, что начал с нуля. Я как в студенческие годы брал и решал матрицы, пределы, выписывал и разбирался в нюансах стат.анализа и теории вероятности — на это уходит много времени, и это не настолько весело. По общению с куратором — дадут основы, но вы ведь сами понимаете, что за неск месяцев дотянуть до норм уровня почти невозможно, и настолько углубляться вы там с группой не будете. Хотя это лучше, чем ничего.
Что желательно знать — дано в темах к вступительным в ШАДе. + статистика. Понимание смысла (и нахождение) какой-нибудь частной производной и прочих азов должно быть очень ясным.
Повторюсь, можете делать расчеты и без знаний — но когда откроете документацию и уведите с десяток гиперпараметров, вот тут можно сесть в лужу — не понимая геометрически, к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации, а ведь в тех же регуляризациях по логистической — параметры инверсированные альфе, кот.будут делать с точностью наоборот.
WRK, >>«к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации, а ведь в тех же регуляризациях по логистической — параметры инверсированные альфе».
Может, я зря вообще все это затеял)))))
У меня в ВУЗе высшая математика прошла скорее мимо меня, а вот тер. вер. нравился, поэтому все получалось. Но если сейчас сделать срез, то я не отличу логарифм от производной, а первообразной от синуса)). Но обещают все прокачать, но конечно понимаю, что многое надо будет вытягивать и самому.
Так как в целом — уже что-то можете практическое делать?
Я правильно понимаю, что знать математику надо не для того чтобы реализовать ML (потому что с современными библиотеками это можно делать и без этого), а для того чтобы с пониманием играться настройками?
Replikant_mih, понимаешь, тут такой нюанс — мне нравится в это вникать — банально вдохновляет. К примеру, заниматься хардкорным программированием в духе java / kotlin или каким-нибудь веб'ом я бы не стал — сколь бы хайповой или перспективной эта сфера не казалась.
Если не попробовал заранее, не посмотрел те же вводные уроки Эндрю Ына а повелся на DS/ML моду, либо решил заниматься ХОТЬ ЧЕМ ТО — то зря. Если же душа лежит в анализу, не жаль тратить на это свободное время и деньги, разбираться — когда кипит мозг, а также пытал бесплатные курсы от курсеры, степика до ODS — и потом решил серьезно заниматься — то на мой взгляд можно и уйти в эту сферу.
Да дело не в настройках, сами методы обучения — это и есть сплошь математика со статистикой. По хорошему ты должен знать и понимать как сделать нормализацию не через готовую библиотеку, а «руками». Поверь, я бы сам хотел, чтобы было все легче и не так — но увы.
Моя цель в платных курсах была банальна-чтобы иметь общение с народом, а также то, что платные курсы ты хочешь / не хочешь будешь проходить. Но перед этим я вникал на бесплатных, потом взял тайм-аут подумать на «холодную» голову, и только после этого принял решение. Уже на одну литературу немало денег ушло.
Практическое обучение делал разумеется, писал даже легкую нейронку на основе numpy, но в кэгле до сих пор не принимал участия, надеюсь уже скоро дойду.
Тоже изучил детально эту рекламу и ощущение надо сказать, двойственное!
![]()
В свое время я имел честь закончил факультет, который тогда (да и сейчас тоже!) является лучшим в теме на всем пространстве Земли от островов Гавайи вплоть до пролива Ла-Манш. Среди прочих, у нас была так называемая «базовая кафедра» Искусственного Интеллекта (возглавлял академик Поспелов). Смею вас заверить, это было одно из немногих мест в СССР, где эти 2 слова вот так в явном, печатном виде упоминались.
И вот прошли годы, и «каждый встречный и поперечный» об этом толкует на улице. Казалось бы — каждый наш выпускник должен быть буквально на вес золота — ведь те, кто поставили на ту лошадку даже в 1998 году (купили СБЕР на все), сейчас выиграли ТЫСЯЧЕКРАТНО. В этой аналогии я поставил на ту лошадку еще на 10 лет раньше, в 1988 г.
Ан нет! Забыты старые авторитеты, появились молодые, борзые, нахрапистые — на вроде Яндекса. Которые непрерывно талдычат о том, какие они гении — чуть ли не единственная интеллектуальная компания во всей России, а самое главное — какие убогие все остальные в стране — плебеи, прожирающие нефтяную ренту, ну, чуть ли ни австралопитеки!
И вот те на — вдруг эти «гении» снизошли до нас, убогих, чтобы за круглую сумму нести нам светоч знаний !!!
Так вот, скажу, что впечатление первое такое: звучит все КРАЙНЕ ПОДОЗРИТЕЛЬНО! По-моему, просто люди хотят поднять непыльного бабла на хайповой теме.
Манул Кот, Вы про яндексовскую Школу анализа даных или про любое обучение по этой теме?)
Для высокотехнологичных компаний это один из каналов пополнения своих кадровых потребностей. Ну + это просто бизнес для них. Они получают деньги, люди востребованные знания.
В тех курсах, которые выбрал я, почитал подробную программу — разнообразие тем богатое, затрагиваются разные пласты и уровни, мне все понравилось на входе. Будем работать).
По поводу описанной вами кафедры — ну это область стремительная, если начать с хорошей базы и активно двигаться, то база конечно же большое преимущество, а если не двигаться, то быстро отстанешь от острия прогресса.
Вот цитата из их курса:
Курс по математике для Data Science, 8 модулей, 2 месяца
Давайте я разберу вам, как настоящий инсайдер, всего 1 пункт. Самое легкое, полезное и базовое тут — это линейная алгебра. Что это на пальцах? Грубо говоря, область математики, которая вас учит работать с векторами, матрицами, N-мерными пространствами, тензорами и т.д.
Помните из вуза такие слова, как «детерминант», системы линейных уравнений, правило Крамера, метод Гаусса? Вот всё это относится к лин. алгебре.
Тут надо подчеркнуть, что линейная алгебра — это, по сути, ликбез, я лично ее особо сложной не назову. В то же время, я далек от того, что бы пытаться вот так, с ходу, преподавать ее первому встречному, человеку с улицы. Точнее преподавать можно, но вероятность успеха — ниже 4%.
Поэтому могу дать такой совет — найдите реальную, бумажную книгу по ней (если сможете) или скачайте что-нибудь, на крайняк. Почитайте, полистайте прежде, чем платить господам из Яндекса деньги, попытайтесь понять — это вообще ваше или нет?
Конкретно, у нас базовым учебником по ней был Курс аналитической геометрии и линейной алгебры, Беклемишев Д.В. Также помню был какой-то гроссбух по матрицам Гантмахера.
В общем, поройтесь в инете, ищущий — да обрящет.
И помните — настоящая наука имеет очень отдаленное отношение к биржевой игре.
Манул Кот, Я не к Яндексу иду), у них на входе нужна хорошая математика, у меня нет. Мож потом и к ним запишусь когда уже подниму уровень.
Понятно, что книг и прочего открытого материала много, но для прокрастинатора это равнозначно, что ничего нет).
Я на это объявление напоролся вчера, и, думаю, Вы — тоже.
Там из 4 заявленных преподавателей — 2 из Яндекса, поэтому я и сказал про них.
Яндекс — это сомнительная, псевдонаучная контора и у меня есть факты на руках, чтобы доказать это.
В любом случае, дискуссия была полезной — для меня прежде всего тем, что люди дали ссылки на некоторые бесплатные ресурсы. Я их взглянул и уже накопал кое-что интересное.
Насчет платного обучения — я в него не особо верю, возможно потому, что сам учился всегда бесплатно (не считая биржевых потерь, разумеется!!) — наследие советской системы. Точнее, так: знания платное обучение может дать отличные, а вот бумажка, сертификат — от нее мне толку ноль, так как в России и зарплаты низкие, да к тому же еще и по возрасту зарежут.
Другое дело — если кто молодой, да в модных очках, да умеет на голубом глазу вести умные речи — тот закончит такие курсы и пойдет по конторам продавать себя подороже — это да, такой подход очень даже работает!
Что касается применимости тем ML/ИИ к извлечению альфы из рынка посредством трейдинга — ну, тут я скажу навскидку, релевантность не больше 10%. Тем более в частном трейдинге — то есть с малым депо.
Манул Кот, >>«Просто я проскочил этот момент и сразу бросился мочить skillfactory.»
))
По поводу платного образования — поговаривают, что когда оно платное ученики ответственней подходят к делу — хотя может, эту легенду придумали околорыночники в ответ на традиционный вопрос: если ты такой хороший трейдер зачем деньги тебе с обучаемых).
По поводу альфы — пока не могу прокомментировать, в лоб, думаю, толку от ML сложно добиться, а вот как-нибудь если по-хитрому прикрутить, то, наверное, толк может быть. Там помимо самого ML много всяких полезных скиллов и навыков обещаются).
А давайте образ мышления поменяем, лет так в 30,40,50. и передадим знание человеку — Что такое число?
Был гуманитарный, стал математический.
Нет, всё надо делать вовремя.
Jkrsss, Ну, я никогда не был гуманитарием), по образованию экономист — это где-то на границе). А давно работаю в аналитике, в IT, в финансах — это не сильно гуманитарно, так что с образом мышления все хорошо, IT бэкграунд неплохой имеется.
По поводу зачет-экзамен — по мне так это вообще противоестественное, когда у тебя мотивация сдать экзамен, а не получить знания и навыки, у меня как раз сейчас сильная мотивация получить знания.
А про 30, 40, 50 — это скорее про отговорки для того чтобы не выходить из зоны комфорта.
Математическое мышление подавай, выйти из зоны комфорта. :) гы гы гы, это Вам надо к Петру 1 обратиться он детей бояр пинал и заставлял математикой заниматься. Ни чего не вышло.
А так получиться бардак объяснят как пользоваться тройным интегралом для измерения объема бочки. Когда любой крестьянин будет пользоваться линейкой и считать быстрее. В секту Математиков :) так не пробиться.
Jkrsss, ну если ты о математике — то тут она не должна быть на уровне 5 курса метмаха уж точно. И та же мат-ка не является чем то недостижимым — основы матана и линейной — доступны любому (ну почти). Ты не забывай, что в инсте часто надо вызубрить, сдать, переплюнуть и забыть. Когда ты занимаешься для своих целей, осознаешь необходимость изучить, а также повторяешь это в прикладных задачах из раза в раз — понимание совершенно другого уровня.
Самое практичное, что методы анализа данных - это не какая то оторванная дисциплина в вакууме, её можно применять в совершенно различных сферах, специальностях и секторах. И никакого искусственного интеллекта тут — конечно же нет.
Один из методов анализа подсказывает мне что на другой стороне бот.
А вообще вы не думаете, что моделировать будут умные люди, а вы будете всего лишь собирать и чистить данные при помощи sql и pandas?
Вывод: можно изучать, но строго бесплатно и строго сообразуясь с полезностью, которую можно будет извлечь из этих знаний.
Обмануть рынок через Дата не думаю что возможно, рынок это просто работа, года 3 каждый день и что то будет.
я лично прошел несколько базовых бесплатных курсов и туториалов, чтобы понять что такое jupyter notebook, gbm и lgbm (всего одна буква разницы от lgbt и то искуственная разница, т.к. t = tree) и уже чувствую себя хорошо.
по крайней мере решился вопрос с пониманием того, какими методами сеть чего-то там решает. а то несколько лет пользовался многослойным перцептроном (в сочетании с некоторым новыми методиками учится хорошо и сравнительно быстро) — а понимания что внутри перцептрона происходит не было. просто чёрный ящик.
в курсе по методологии утверждается, что всё-таки понимание предметной области это очень важно. всё-таки брут-форс не так эффективен как направленный брут-форс.
построил свою модель решающих пеньков, запустил, пока результат отрицательный (как и без них было)
а вот толком lgbm пока не разобрался.
ещё не понял такую штуку: допустим перцептрон может строить модели по нескольким фичам, как функцию от них.
а решающее дерево, классификатор, как я понял, такого не может.
поэтому высоко скоррелированные фичи для перцептрона норм, а для деревьев похоже — только мешают. и вот я не понял, как же можно и деревья применять и работать со скоррелированными данными.
наверное это следующий шаг — построение архитектур сетей из перцептронов и деревьев.
т.е. тренируем несколько деревьев на несколько наборов нескоррелированных фич,
тренируем несколько перцептронов на моделирование ещё более высокоуровневых фич
и результат снова пропускаем через дерево решений. это видимо и есть дип лёрнинг.
как вариант — обучить перцептрон с 3-4 слоями чтоб на выходе было только да или нет, а потом последний слой с 1 нейроном отрезать и вляпать вместо него дерево.
попробую на выхах :)
Я на таком же распутье стою, как ты в начале, не знаю, пробовать ли, математику толком не знаю