Блог им. Replikant_mih

Записался на обучение по Data Science.

Обычно человек ходит по колее, но иногда система сбоит и случаются «эмм, а чё я раньше не задумывался, что можно…» и «хм, а ведь можно попробовать сделать…». В такие моменты можно выскакивать за пределы колеи и переходить в новую более интересную, выходить из зоны болотного комфорта в зону воодушевляющего дискомфорта.


Всегда ходил по колее (вернее, замкнутому циклу): математика не моё, у меня много своих преимуществ, математик не в их числе, не всем дано. И к нему прицеплялось: машинное обучение, нейронные сети, статистика и тер.вер. требуют математики – ну, значит, тоже не мое, ну значит без этого. А тут че-то осенило: а какого хрена!? Кстати, тот случай когда реклама сподвигла (назойливая реклама курсов обучения по Data Science). Сначала отмахивался, а в какой-то момент подумал: а почему бы и нет? – Да, страшно, да лень, да не уверен, что получится, да долго, да нет уверенности, что поможет и т.д. Хорошо подумал, уверенным движением руки смахнул все эти иррациональные возражения и страхи со стола и записался на курс.

Так что скоро, надеюсь, например, не буду просто пролистывать посты уважаемого А.Г., а, возможно, буду извлекать смысл.

Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

Глаза загорелись. Будет интересно.

★16
127 комментариев
Задумываюсь сам, где будете проходить обучение?
avatar

dan◦fox, выбирал между:

— Школа анализа данных от Яндекса.

— Курс от Нетологии.

— Курс от SkillFactory.

— Курс от GeekUniversity.

Если интересно, на каком остановился — спросите в личку. А то напишешь — как обычно начнется: не то ты выбрал, надо было вот это))).

avatar
Replikant_mih, было бы интересно почитать что выбрали и по каким критериям выбирали.
avatar

K., критерии:

— уровень скиллов на входе — по этому критерию сразу отвалился Яндекс, потому что там уже на входе нужно очень хороший уровень показать. И ещё один отвалился.

— а дальше — ну программа, преподы, формат, цена, рассрочка по цене, общие неформализуемые впечатления.

 

Ну ладно, короче выбрал GeekUniversity от Мэйл.ру.

avatar
Replikant_mih, а меел не выкладывает по этой теме на Ютуб?
avatar
Андрей К, Ну щас понятно многие темы есть в открытом доступе, но тут интерактив + все в одном месте + практическое + тебя подпинывают).
avatar
Replikant_mih, поздравляю! Посмотрел программу курса, достаточно насыщенная. 
avatar
smit, Спасибо! Согласен).
avatar

K., Ну и изначально выбирал хорошее — чтоб уже была серьезная фирма и курс масштабный, чтоб было все — хорошая математика, хороший дата-саенс и прочий машин-ленинг, много практики. Формат чтоб был эффективный — тут тебе и менторы и обратная связь и проекты практические на реальных кейсах и данных. Да и трудоустройство просто так на пустом месте не гарантируют.

avatar
K., Ну и хотелось чтоб было все) — в смысле все необходимое в пределах предметной области. Чтоб не было внутреннего соблазна выучив основное сказать: ну, без вот этой темы могу обойтись, и без вот этой. Да и если темы отдельно собирать — обучение, наверно, дороже выйдет.
avatar
Replikant_mih, на edx и курсера есть отличные курсы, планирую осенью пройти. Лучше, вышеописанных (ну может кроме яндексовского)
avatar
Lev, Чем лучше?)
avatar
Replikant_mih, в первую очередь -  качеством подачи материала.
Я видел в пиратских копиях все четыре упомянутых вами, только ШАД показался адекватным.

avatar
Lev, Ещё чуть-чуть можете расшифровать в чем неадекватность подачи материала?)
avatar
Replikant_mih, некоторых лекторов нельзя допускать к публичным выступлениям — неоправданные паузы в предложениях, невнятная речь, «пык-мык» в просторечии. Короче говоря, не владеют риторикой. Т.е. как специалисты они может и неплохие (и может очень даже крутые), но как ораторы — нули. Я — сам айтишник с довольно существенным опытом и запросто могу идти читать курсы по ряду прикладных дисциплин. Но увы, обделён ораторскими талантами. Поэтому не читаю никаких публичных лекций.

avatar
Lev, Аа, эстетического плана претензии. Ну посмотрим, думаю свыкнусь.
avatar
Replikant_mih, ну проблемы с качеством подачи материала — это не только эстетическая претензия.
А так, можно и на kaggle поучиться - https://www.kaggle.com/learn/overview

avatar
Lev, для меня инглиш большее препятствие чем препод с неразвитым скиллом риторики).
avatar
Replikant_mih, хорошо, что вы так уверены в себе. Только если каждый 100-й относительно опытный специалист успешно применил ML на бирже, с рынка бы все деньги повымывали настолько, насколько ликвидность позволяет.
avatar
V.V., Только то, что ты юзаешь ML вряд ли сильно меняет вероятности успеха, или в случае успеха делает твой профит фактор в разы больше. Не надо это воспринимать как грааль, ничто не грааль)), в т.ч. и ML. Инструмент. Крутой, мощный. Но инструмент всего лишь, а то что он крутой и мощный — требует от тебя ещё больших усилий, знаний, скиллов и т.д.
avatar
V.V., По поводу уверенности в себе — может людей это и раздражает иногда), но вот тотальная неуверенность это просто что-то крайне неприятное.
avatar
Replikant_mih, 
Кстати, уже только при прочтении программы курса словил пару инсайтов применительно к фин. рынкам.

Чего словил?
Это хоть не заразное?
avatar
sergik99, не знаю, но на всякий случай без защиты ко мне в комментарии больше не заходи)
avatar
Replikant_mih, здравствуйте, не поделитесь успехами обучения?

Георгий Беседин, С удовольствием). Какого рода успехи интересуют?)

На курсе по знакомству с библиотеками по машинному обучению по качеству предсказания обученной модели занял первое место среди студентов моей группы) — но вряд ли вы про такие успехи). Вообще непосредственно про машинное обучение было ещё не так много предметов, как ни странно. Щас математики много всякой. Были инфраструктурные предметы. Очень неплохо прокачался по многим вопросам. Есть один момент, в связи с текущими событиям на рынке акцент сместил в сторону рынков, поэтому по паре предметов отстал от реального времени — надо нагонять, ну и в мотивации как-то просел — и из-за обилия математик, которые не совсем мое, как оказалось и из-за рынка. Думаю, когда пойдут более релевантные предметы, в смысле более специализированные, былой огонь в глазах вернется.

А так, рекомендую учиться, для меня это стало открытием, реально загорелись глаза, новые горизонты, где-то сразу видишь перспективы и интерес, а где-то не так явно, но потом когда сталкиваешься понимаешь, что нужные вещи. 

 

В общем намного свободней себя чувствую по многим вопросам, если чисто по технике — запилить какое-нить приложение, в т.ч. с использованием базы данных или с API синтегрироваться — не пугает. Запилить бэктестер на pandas — если не сильно замороченный — без проблем. Покрутить данные с графиками, табличками и т.д., не в Экселе, а с использованием более мощного инструментария — уже могу. Несложные модели без какого-то пока глубокого понимания нюансов — могу.

 

Если что, если вдруг вопрос в этом, грааль пока не найден в этом направлении, но я и не ищу).

 

Ответил?) Или про другое спрашивали?)

avatar
Replikant_mih, 
1. Удалось ли поступить на бесплатное?
2. Какие вопросы были на вступительном экзамене?
3. Насколько удачно был сдан вступительный экзамен?
4. Какие разделы математики проходят?
5. Сколько времени в неделю уходит?
6. Если Вы далеко не студент в плане возраста: есть ли проблемы при общении с молодежью?
7. Если работаете, то нашлось ли применение полученным знаниям в работе?
avatar

aks19, Как вас много в такую старую тему забрело?)

1. И не пытался, онлайн платное обучение.

2. Не было вступительных. Были подготовительные курсы чтобы дорасти до требуемого начального уровня.

3. -.

4. Линейная алгебра, мат. анализ, тервер, матстат, что-то еще по чуть-чуть.

5. На д.з. обычно прилично, часами сидишь. Но некоторые предметы полегче.

6. У нас там все далеко не студенты по возрасту, но и в то же время не настолько далеко, чтоб если бы не этот момент, это вызывало бы какие-то сложности непреодолимые.

7. Нашлось, конечно).

avatar
Replikant_mih, спасибо :)

По времени затрачиваемому хотелось бы уточнение.
В ШАД от Яндекса говорят, что надо 30 часов в неделю.
На выбранных Вами курсах уходит больше или меньше?
avatar

aks19, Поменьше, не замерял никогда, но раза в два меньше или даже ещё в больше раз меньше). ШАД суровая штука). 

Ну и тут как, материала и возможностей дают придостаточно, а дальше сам. Можно просто прослушать материал и как-то попытаться выполнить домашку, в частности что-то можно загуглить. Это одно время, можно прослушать, потом перематывать непонятные моменты и ещё раз слушать. Методичка — можно читать, можно не читать. Доп. материалы и ссылки — можно читать и это прилично доп. времени, можно не читать. Домашку — там есть обязательные, есть необязатальные, опять же вариативность. У меня наверно часов 10+ щас уходит. Раньше больше уходило. Но найти куда потратить 30 часов тоже не проблема, если есть возможность/желание).

avatar
дата сайенс — очередная западная мулька для получения грантов.
как изменение климата, квантовая телепортация, клонирование и прочий несуществующий шлак. но ты изучай конечно. это очень полезно для трудоустройства в биг кампани, чтобы там с умным видом нихрена не делать, как и все.
avatar
Kapeks, Чувствуется глубокая погруженность в предметную область)).
avatar
Replikant_mih, нет. не приписывай мне этот идиотизм.
avatar
Kapeks, сарказм).
avatar
большие данные это мирные данные

big data is peace data
Логарифм Интегралович, не сразу уловил смысл)), но уловил).
avatar
Логарифм Интегралович, тоненько сыграл)
avatar
Тимоха, в чем тонкость не понял. Данные инструмент их и для войны легко использовать.
avatar
Stasik, прочитай в транскрипции как звучит «биг дата ис писдата», все просто.
avatar
А цель?
avatar
SergP, Научиться извлекать больше информации из данных и более умело в целом работать с данными. Применительно к трейдингу это нужно чтобы более крутые закономерности находить, или легче находить закономерности того же уровня крутизны, эффективней верифицировать закономерности. Для меня откроется целый пласт ранее недоступной информации — много кто говорит на этом языке и я не понимаю его, а буду. Плюс всякие прикольные чисто прикладные штуки обещают — типа работать с Linux, SQL, парсить данные с сайтов и т.д. — то, что всегда хотел, но как-то все не до этого было). + если двигаться не по трейдерской ветке, то это открывает определенные карьерные возможности. И т.д.
avatar
Replikant_mih, а образование у Вас какое?
И какой объем обучения?
avatar
SergP, Экономическое. Курс на 1,5 года. 2-3 занятия в неделю + самостоятельная работа.
avatar
Replikant_mih, смотрю вы тут самый профи.

В двух словах можете объяснить что такое Data Sceince и чем это всё отличается от обычного высшего образования, включающего:

а) Мат. стат. + моделирование + верификация+валидация
б) Мат. анализ + численные методы

Что нового? После KNN, SVM, AR (Arima и т.д.), нейронных сетей, деревьев, графов?


avatar
Kot_Begemot, Нет, я не самый профи, я необорот с нуля учусь), так что приходите через несколько месяцев, а лучше полтора года — тогда и подскажу предметно)).
avatar
Replikant_mih будем надеяться)
avatar
Дорого?
avatar
Андрей К, Суммарно да, приличные суммы.
avatar
Replikant_mih, и все же, порядок:  EUR 3k-4k-7?
avatar
flextrader, 225К rub за 1.5 года.
avatar
Replikant_mih, хренассе
Пафос Респектыч, ага)).
avatar
Replikant_mih, нехило так!
avatar
SergeyJu, Ага, но есть помесячная рассрочка).
avatar
Replikant_mih, а если решите прервать обучение, все равно всю сумму платить? 
avatar
SergeyJu, нет, сколько отучился столько заплатил).
avatar
Replikant_mih, 
На coursera же бесплатно, если сертификат не получать.
avatar
Анастасия К, мм, ну круто.
avatar
Какой язык базовый, R, питон или что-то третье?
P.S. Посмотрел их сайт. По мне, так много лишнего, такого, что на рыночке не пригодится. Но, с другой стороны, вдруг Вас вообще это заинтересует само по себе.
P.P.S. Посмотрел программы всех 4 Ваших «Университетов». Самая компактная и подходящая, как мне показалось, нетология. Яндекс реально сложен, у меня дочь 1 курс отучилась и сказала, что поняла, что это ей не интересно. Но после ВМК она достаточно была подготовлена, чтобы без моей помощи учиться.  
avatar
SergeyJu, Питон.
avatar
Современный ИИ это псевдонаука. На этих подходах поставили крест сами же патриархи ИИ.
sortarray sortarray, Если вы вычленяете ИИ из всего множества ML, то возможно. Я и не планирую на ИИ концентрироваться.
avatar
Replikant_mih, Под «ML» Вы что подразумеваете, «метаязыки»?
sortarray sortarray, Совокупность подходов и методов машинного обучения). 
avatar
Replikant_mih, тогда наоборот, это подмножество ИИ.
sortarray sortarray, не уверен. Впрочем 1. Не люблю спорить про определения — это пустое. 2. Я ещё тока записался на курсы, а не проще их), так что не шарю.
avatar
sortarray sortarray, ну да, все крест поставили, но из вредности продолжают применять :D https://en.wikipedia.org/wiki/Applications_of_artificial_intelligence
avatar
Максим, так и есть. Любую задачу при желании можно решить через глубокую жопу
sortarray sortarray, До ИИ нам еще очень далеко, ВИ бы осилить. (MassEffect). А биг дата очень применимая вещь за счет нее прогресс полетит.
avatar
Ну вот были топики вокруг базовых эконометрических отношений для деривативов и регресся, приложения винеровского процесса. ща начнутся о  информ. критериях))))
avatar
flextrader, не понял комментарий)
avatar
Replikant_mih, я разумеетца несерьезно. но
 в последнее время народ любит постить квант-ориентированный контент. видимо, пришло время бигдейты. а в коммент имелись ввиду критерии в ключе AIC
avatar
flextrader, типа Акаике? Так здесь слегка обсуждали уже.
avatar
SergeyJu, что поделать Сергей Юрич, за смарт-лабом не успеть, увы.)) попробую поищу топик — попрактикуюсь в DS, так сказать.

З.ы. и да, сегодня кто чего только к трейдингу не прикрутит (это не в адрес Афтара, сразу оговорюсь).
тоже надо пойти по-прикручивать, по америке спот-кривую дождусь на клоз и летс гоу.
avatar
flextrader, Тот случай как раз когда я не понимаю о чем речь, потому что не шарю в предмете)).
avatar
stepik не пробовали?
avatar
metatron, Не пробовал. Тут же ещё вопрос мотивации и организации процесса. Даже если инфа вся есть в открытом доступе — её надо дергать из разных мест, при этом уметь фильтровать воробьев от соловьев, а если тема незнакомая, то сделать это не просто + надо мотивировать себя постоянно все это делать + такое обучение менее живое менее эффективное на мой взгляд. Хочу плотную базу набить, а дальше добивать можно бесплатными курсами, статьями, книгами, соревнованиями, экспериментами, практикой.
avatar
молодец!
Андрей Л. (Гуру Хренов), спасибо! :)
avatar
Без бызы не получите ничего, кроме раздроченого эго. Это как примерно пойти на курсы по олимпийскому чемпионству по боксу. Тогда как правильный путь к олимпийскому чемпионству это записаться в дворовую секцию, после чего потратить на все это пол жизни. Но вы конечно продолжайте.

Cristopher Robin, Если бы у меня не было внутреннего стержня и внутреннего компаса — наверно бы даже расстроился от вашего сообщения)).

 

Во-первых, тут с условного нуля стартуют.

Во-вторых, я не рвусь в олимпийские чемпионы)).

В-третьих, видел много людей, с отличным бэкграундом, но скучно его использующих — никакого креатива, никакой смелости, никакой экспрессии, не производят новые знания, в то время как я могу и без мат. подготовки феерить)). А уж с ещё одним инструментом (вернее, букетом инструментов) будет ещё интересней.

 

avatar
Replikant_mih, с внутренним стержнем и внутренним компасом, как впрочем с креативом и смелостью вас ждут в отделах продаж. Наука это про другое.
Cristopher Robin, с наукой вас ждут в лабораториях, алгоритмический трейдинг это про другое.
avatar
Я тоже начал учиться. Тем более что полно бесплатных курсов. 
Забавно но седой и строгий PhD заявляет что там больше data чем science.
И что главное это любопытство.

Но хотя бы весь доступный инструментарий стоит поизучать чтобы не тратить время на изобретение велосипедов.
Хотя мне кажется что если бы всё было так просто — прикрутил ИИ и стал колбасить только в плюс, то давно или бы фонды такие появились которые скупили весь мир, или вообще все биржи прекратили существование. 
Но может эта мысль и не верна. В шахматы-то всё равно люди играют друг с другом, хотя компьютеры уже играют лучше.
А мы на бирже уже непонятно с кем соревнуемся. Не то с людьми, не то с компьютерами..
Вобщем, сам не знаю что сказать хотел. Удачи, держи в курсе.
Хотелось бы мне лично накопать что-то на тему ИИ и money/risk management в применении к фьючерсам.
avatar

ПBМ, >>«Удачи, держи в курсе.»

спасибо!)

Все, конечно, не просто. Это точно не магическая пилюля. Просто ещё один инструмент, но с большим потенциалом. И, думаю, его надо применять не в лоб — не тупо прогнозировать временной ряд на основе исторических данных, а что-то поинтересней, есть уже несколько задумок).

avatar

Добрый, а это смотрели? https://www.coursera.org/specializations/machine-learning-data-analysis

скажите, я так понимаю, обучение у вас онлайн. ногами даже раз в месяц никуда ходить не нада? 

avatar
смотрите, наверное вы в курсе про сообщество ODS? там люди проходят все необходимые курсы сами и бесплатно ( в основном это курсы топовых университетов США), так же существует и сам курс ODS, можете еще следовать этому гайду из чатика про питон https://github.com/HorusHeresyHeretic/ReadMe . Но лучше сконцентрироваться просто на программировании.
avatar
Yodo, Ну я уже выбор основного курса сделал. А дальше посмотрим — доп. материалы по-любому дело хорошее, но посмотрим как по нагрузке, вероятно адресно буду какие-то темы дергать из сторонних источников. Ну и всегда потом можно совершенствоваться самостоятельно когда база заложена + понятно куда можно и нужно копать дальше.
avatar

я в данный момент обучаюсь. Параллельно учусь по книгам. Могу сказать, что это намного, НАМНОГО сложнее чем кажется поначалу. 

Дело в том, что надо очень неплохо натаскивать математику, причем из разных областей. С самого начала Вы должны знать такие вещи как обратная матрица и т.д., в противном случае будут смущать и вводить в ступор какие-нибудь формулы функций-издержек сводящие значение к минимуму. Поставить гиперпараметры на решетчатом поиске не понимая их смысл — это обезьяна с гранатой.

В общем DS это больше математика/статистика, чем программирование. Хотя и последнее надо знать хорошо.  Так что будьте готовы.

 

avatar

WRK, А вы где учитесь?

 

В моем курсе обещают, что в самом курсе дают то что нужно для непосредственно ML и прочего DS. Программу читал — там есть и про матрицы и прочее — несколько разделов математики будем затрагивать. Ну и надо думать, что сначала математику затрагивать, а потом темы где она уже должна быть у тебя затронута)).

 

Про «НАМНОГО сложнее» — я догадываюсь)), хотя гоню эту мысль)), вернее игнорировал её когда принимал решение, а дальше в омут с головой)).

 

И как у вас с математикой проходит? -  Или у вас на входе был неплохой уровень? Как вообще в целом продвигается? — уже что-то можете практическое? — Энтузиазм сохраняется?

avatar

Replikant_mih, учусь на одних из курсах (не хочу делать рекламу), их кстати большее количество, чем указано у Вас.

Уровень математики входной у меня был низкий, но тк знал основы эконометрики не могу сказать, что начал с нуля. Я как в студенческие годы брал и решал матрицы, пределы, выписывал и разбирался в нюансах стат.анализа и теории вероятности — на это уходит много времени, и это не настолько весело. По общению с куратором — дадут основы, но вы ведь сами понимаете, что за неск месяцев дотянуть до норм уровня почти невозможно, и настолько углубляться вы там с группой не будете. Хотя это лучше, чем ничего.

Что желательно знать — дано в темах к вступительным в ШАДе. + статистика. Понимание смысла (и нахождение) какой-нибудь частной производной и прочих азов должно быть очень ясным. 

Повторюсь, можете делать расчеты и без знаний — но когда откроете документацию и уведите с десяток гиперпараметров, вот тут можно сесть в лужу — не понимая геометрически, к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации,  а ведь в тех же регуляризациях по логистической  — параметры инверсированные альфе, кот.будут делать с точностью наоборот. 

 

avatar

WRK, >>«к чему будет приводить изменение степени полинома, или же настройка альфы при регуляризации,  а ведь в тех же регуляризациях по логистической  — параметры инверсированные альфе».

 

Может, я зря вообще все это затеял)))))

 

 

У меня в ВУЗе высшая математика прошла скорее мимо меня, а вот тер. вер. нравился, поэтому все получалось. Но если сейчас сделать срез, то я не отличу логарифм от производной, а первообразной от синуса)). Но обещают все прокачать, но конечно понимаю, что многое надо будет вытягивать и самому.

Так как в целом — уже что-то можете практическое делать?

Я правильно понимаю, что знать математику надо не для того чтобы реализовать ML (потому что с современными библиотеками это можно делать и без этого), а для того чтобы с пониманием играться настройками?

 

avatar

Replikant_mih, понимаешь, тут такой нюанс — мне нравится в это вникать — банально  вдохновляет. К примеру, заниматься хардкорным программированием в духе java / kotlin или каким-нибудь веб'ом я бы не стал — сколь бы хайповой или перспективной эта сфера не казалась.

Если не попробовал заранее, не посмотрел те же вводные уроки Эндрю Ына а повелся на DS/ML моду, либо решил заниматься ХОТЬ ЧЕМ ТО — то зря. Если же душа лежит в анализу, не жаль тратить на это свободное время и деньги, разбираться — когда кипит мозг, а также пытал бесплатные курсы от курсеры, степика до ODS — и потом решил серьезно заниматься — то на мой взгляд можно и уйти в эту сферу. 

Да дело не в настройках, сами методы обучения — это и есть сплошь математика со статистикой. По хорошему ты должен знать и понимать как сделать нормализацию не через готовую библиотеку, а «руками». Поверь, я бы сам хотел, чтобы было все легче и не так — но увы. 

Моя цель в платных курсах была банальна-чтобы иметь общение с народом, а также то, что платные курсы ты хочешь / не хочешь будешь проходить. Но перед этим я вникал на бесплатных, потом взял тайм-аут подумать на «холодную» голову, и только после этого принял решение. Уже на одну литературу немало денег ушло. 

Практическое обучение делал разумеется, писал даже легкую нейронку на основе numpy, но в кэгле до сих пор не принимал участия, надеюсь уже скоро дойду. 

avatar
WRK, Анализ данных — это то, что мне нравится — таблицы, графики, закономерности, причинно-следственные связи, корреляции и прочее — мне все это очень нравится. Но я всегда это делал на основе тех методик, которые сам обычно и изобретал. Это очень хорошо, но имеет свои ограничения, которые я хочу приобрести. Да и людям так понятней будет. Когда ты кому-нить говоришь, что тебе пофиг какая аналитическая задача, ты вникаешь в задачу и что-то придумываешь с нуля — люди обычно не проникаются таким, это вроде как не доказательство твоих способностей, если перечислить аббревиатуры, бренды, технологии на английском — тут совсем другая история)). А для себя — получаешь мощный инструментарий дополнительный, ещё большее расширение аналитического и технического кругозора. Мне это как минимум в двух областях нужно, в т.ч. для фин. рынков.
avatar
Боюсь мы не выдержим ещё одного А.Г.  Не к тому ты стремишься. Уже ни раз А.Г. делали замечание по поводу того, что всю информацию нужно доносить максимально популярным языком (это вопрос уважения к людям). Это кстати я впервые услышал от своего руководителя по аспиранте.  Он говорил умные слова можешь и даже должен  в статьях писать, а при общении с людьми старайся придерживаться максимального понятного синтаксиса.  А так что пошёл на Data Science молодец.
avatar
ANTI_Finsov, Ну он пишет для тех кто его понимает, ему интересна такая тематика, кто-то его понимает, контакт случился. Кто понял — счастлив, кто не понял — в печали. Всегда кто-то не доволен). Думаю, у меня с этим проблем не будет, да и я учу не для того чтоб писать о, а для того чтоб юзать).
avatar

Тоже изучил детально эту рекламу и ощущение надо сказать, двойственное!

В свое время я имел честь закончил факультет, который тогда (да и сейчас тоже!) является лучшим в теме на всем пространстве Земли от островов Гавайи вплоть до пролива Ла-Манш. Среди прочих, у нас была так называемая «базовая кафедра» Искусственного Интеллекта (возглавлял академик Поспелов). Смею вас заверить, это было одно из немногих мест в СССР, где эти 2 слова вот так в явном, печатном виде упоминались.

И вот прошли годы, и «каждый встречный и поперечный» об этом толкует на улице. Казалось бы — каждый наш выпускник должен быть буквально на вес золота — ведь те, кто поставили на ту лошадку даже в 1998 году (купили СБЕР на все), сейчас выиграли ТЫСЯЧЕКРАТНО. В этой аналогии я поставил на ту лошадку еще на 10 лет раньше, в 1988 г.

Ан нет! Забыты старые авторитеты, появились молодые, борзые, нахрапистые — на вроде Яндекса. Которые непрерывно талдычат о том, какие они гении — чуть ли не единственная интеллектуальная компания во всей России, а самое главное — какие убогие все остальные в стране — плебеи, прожирающие нефтяную ренту, ну, чуть ли ни австралопитеки!

И вот те на — вдруг эти «гении» снизошли до нас, убогих, чтобы за круглую сумму нести нам светоч знаний !!! 


Так вот, скажу, что впечатление первое такое: звучит все КРАЙНЕ ПОДОЗРИТЕЛЬНО! По-моему, просто люди хотят поднять непыльного бабла на хайповой теме.

Манул Кот, Вы про яндексовскую Школу анализа даных или про любое обучение по этой теме?)

 

Для высокотехнологичных компаний это один из каналов пополнения своих кадровых потребностей. Ну + это просто бизнес для них. Они получают деньги, люди востребованные знания.

 

В тех курсах, которые выбрал я, почитал подробную программу — разнообразие тем богатое, затрагиваются разные пласты и уровни, мне все понравилось на входе. Будем работать).

 

По поводу описанной вами кафедры — ну это область стремительная, если начать с хорошей базы и активно двигаться, то база конечно же большое преимущество, а если не двигаться, то быстро отстанешь от острия прогресса.

avatar
Манул Кот, не знаю, как сейчас, но изначально в академии яндекса учили бесплатно. И сейчас у них летняя стажировка оплачивается компанией, а не соискателем. Состав преподавателей там сильный. Например, до трагической смертиработал Червоненкис. Тем, что называют сейчас ИИ, в СССР многие занимались. От Моисеева и Журавлева до Вапника. И сейчас есть сильные люди в университетах. А яндекс — это бизнес. Причем на мировом уровне.
avatar
Манул Кот, совершенно так же подумал… кстати… я-променял-девичий смех-7?
avatar
Теперь по-существу.

Вот цитата из их курса:

Курс по математике для Data Science, 8 модулей, 2 месяца 
  • Линейная алгебра 
  • Матанализ и методы оптимизации 
  • Основы статистики и теории вероятности 
  • Применение в машинном обучении и нейронных сетях

Давайте я разберу вам, как настоящий инсайдер, всего 1 пункт. Самое легкое, полезное и базовое тут — это линейная алгебра. Что это на пальцах? Грубо говоря, область математики, которая вас учит работать с векторами, матрицами, N-мерными пространствами, тензорами и т.д.

Помните из вуза такие слова, как «детерминант», системы линейных уравнений, правило Крамера, метод Гаусса? Вот всё это относится к лин. алгебре. 

Тут надо подчеркнуть, что линейная алгебра — это, по сути, ликбез, я лично ее особо сложной не назову. В то же время, я далек от того, что бы пытаться вот так, с ходу, преподавать ее первому встречному, человеку с улицы. Точнее преподавать можно, но вероятность успеха — ниже 4%. 

Поэтому могу дать такой совет — найдите реальную, бумажную книгу по ней (если сможете) или скачайте что-нибудь, на крайняк. Почитайте, полистайте прежде, чем платить господам из Яндекса деньги, попытайтесь понять — это вообще ваше или нет?


Конкретно, у нас базовым учебником по ней был Курс аналитической геометрии и линейной алгебры, Беклемишев Д.В. Также помню был какой-то гроссбух по матрицам Гантмахера.

В общем, поройтесь в инете, ищущий — да обрящет.

И помните — настоящая наука имеет очень отдаленное отношение к биржевой игре.

Манул Кот, Я не к Яндексу иду), у них на входе нужна хорошая математика, у меня нет. Мож потом и к ним запишусь когда уже подниму уровень.

 

Понятно, что книг и прочего открытого материала много, но для прокрастинатора это равнозначно, что ничего нет).

avatar
Replikant_mih, я не про Яндекс, я про вот это: https://skillfactory.ru/data-scientist

Я на это объявление напоролся вчера, и, думаю, Вы — тоже.

Там из 4 заявленных преподавателей — 2 из Яндекса, поэтому я и сказал про них.

Яндекс — это сомнительная, псевдонаучная контора и у меня есть факты на руках, чтобы доказать это. 
Манул Кот, аа, ясн.
avatar
Replikant_mih, я понял (ДОШЛО, наконец!!), вы будете проходить тот курс, который от mail.ru. Просто я проскочил этот момент и сразу бросился мочить skillfactory.

В любом случае, дискуссия была полезной — для меня прежде всего тем, что люди дали ссылки на некоторые бесплатные ресурсы. Я их взглянул и уже накопал кое-что интересное.

Насчет платного обучения — я в него не особо верю, возможно потому, что сам учился всегда бесплатно (не считая биржевых потерь, разумеется!!) — наследие советской системы. Точнее, так: знания платное обучение может дать отличные, а вот бумажка, сертификат — от нее мне толку ноль, так как в России и зарплаты низкие, да к тому же еще и по возрасту зарежут.

Другое дело — если кто молодой, да в модных очках, да умеет на голубом глазу вести умные речи — тот закончит такие курсы и пойдет по конторам продавать себя подороже — это да, такой подход очень даже работает!

Что касается применимости тем ML/ИИ к извлечению альфы из рынка посредством трейдинга — ну, тут я скажу навскидку, релевантность не больше 10%. Тем более в частном трейдинге — то  есть с малым депо.

Манул Кот, >>«Просто я проскочил этот момент и сразу бросился мочить skillfactory.»

))

 

По поводу платного образования — поговаривают, что когда оно платное ученики ответственней подходят к делу — хотя может, эту легенду придумали околорыночники в ответ на традиционный вопрос: если ты такой хороший трейдер зачем деньги тебе с обучаемых).

 

По поводу альфы — пока не могу прокомментировать, в лоб, думаю, толку от ML сложно добиться, а вот как-нибудь если по-хитрому прикрутить, то, наверное, толк может быть. Там помимо самого ML много всяких полезных скиллов и навыков обещаются).

avatar
Манул Кот, а можете пояснить? Ведь все же бизнес у них растет, поиск ищет, такси и беспилотники ездят.
avatar
Yodo, это серьезный и непростой вопрос, надеюсь осветить его отдельным постом еще в этом году…
Боюсь, что без классической схемы — экзекуции = зачет, экзамен, пересдача. забыл. Получить знания от альма матери не выйдет :)  

А давайте образ мышления поменяем, лет так в 30,40,50. и передадим знание человеку — Что такое число? 
Был гуманитарный, стал математический.

Нет, всё надо делать вовремя.  

avatar

Jkrsss, Ну, я никогда не был гуманитарием), по образованию экономист — это где-то на границе). А давно работаю в аналитике, в IT, в финансах — это не сильно гуманитарно, так что с образом мышления все хорошо, IT бэкграунд неплохой имеется.

 

По поводу зачет-экзамен — по мне так это вообще противоестественное, когда у тебя мотивация сдать экзамен, а не получить знания и навыки, у меня как раз сейчас сильная мотивация получить знания.

 

А про 30, 40, 50 — это скорее про отговорки для того чтобы не выходить из зоны комфорта.

avatar
Replikant_mih, Знания, навыки, skills это можно получить на всех перечисленных курсах. А вот работать с образами знаний, образами объектов это только в классическом университете, и в возрасте 17-20 лет.
Математическое мышление подавай, выйти из зоны комфорта. :) гы гы гы, это Вам надо к Петру 1 обратиться он детей бояр пинал и заставлял математикой заниматься. Ни чего не вышло. 
А так получиться бардак объяснят как пользоваться тройным интегралом для измерения объема бочки. Когда любой крестьянин будет пользоваться линейкой и считать быстрее. В секту Математиков :) так не пробиться.
avatar
Jkrsss, ну тоже мнение, чё). Имеете право).
avatar

Jkrsss, ну если ты о математике — то тут она не должна быть на уровне 5 курса метмаха уж точно. И та же мат-ка не является чем то недостижимым — основы матана и линейной — доступны любому (ну почти).  Ты не забывай, что в инсте часто надо вызубрить, сдать, переплюнуть и забыть. Когда ты занимаешься для своих целей, осознаешь необходимость изучить, а также повторяешь это в прикладных задачах из раза в раз — понимание  совершенно другого уровня. 

Самое практичное, что методы анализа данных -  это не какая то оторванная дисциплина в вакууме, её можно применять в совершенно различных сферах, специальностях и секторах. И никакого искусственного интеллекта тут — конечно же нет. 

avatar
WRK, Верно! Правильная мотивация и прикладной характер — отличное топливо для обучения. Но люди, видимо, ещё помнят боль своей учебы, поэтому им кажется, что можно только через такую боль это делать). Хотя уверен, даже с вышеописанным топливом это будет боль))).
avatar
WRK, Ага, уровень техникума советского с математическим уклоном. Методы анализа. Будет все как в прежние времена, расчетчиков(специалистов по Data Science...) человек 300-400 на заводе(хедж фонде), а считать умеют только два. 

Один из методов анализа подсказывает мне что на другой стороне бот.
avatar
Jkrsss, если уж ты в 40 дворник то нефиг учиться программировать типа)
avatar
Вот, уже не помню где наткнулся на препринт книги по математике для DS. Авторы пытаются охватить все что нужно на достаточной глубине, не залезая в дебри. https://mml-book.github.io/
А вообще вы не думаете, что моделировать будут умные люди, а вы будете всего лишь собирать и чистить данные при помощи sql и pandas?
avatar
Yodo, ну мы типа и сами не глупые))
avatar
Объявы по Data Science лезут изо всех щелей. По ходу, имеет место быть эффект чистильщика обуви: когда на Data Science  можно было поднять реальных денег, об этом никто особо не знал, а когда все легкое и сладкое уже давно заработано, об этом стали говорить на каждом углу. 

Вывод: можно изучать, но строго бесплатно и строго сообразуясь с полезностью, которую можно будет извлечь из этих знаний.
Манул Кот, не, на каждом углу — это так работает контекстная реклама)).
avatar
 В прошлом году тоже задумался куда бы дальше, и так бы еще чтобы от пенсии не зависеть. Глянул Дата опупел, пошел сатики делать, теперь умею делать, дальше думаю в программирование. Требуется везде работать где угодно можно. 
Обмануть рынок через Дата не думаю что возможно, рынок это просто работа, года 3 каждый день и что то будет.
avatar
Stasik, Нуу, в целом звучит здраво, да).
avatar
Replikant_mih, так а почему таки отказались от услуг SkillFactory? Ведь у них и цена на 70% ниже — 135 000 ₽.
Манул Кот, Ну те другие мне показались мощнее). Ну и они дольше, масштабней.
avatar
так вы за долгое платное онлайн обучение засели? тогда я вас не правильно понял. удачи, что.

я лично прошел несколько базовых бесплатных курсов и туториалов, чтобы понять что такое jupyter notebook, gbm и lgbm (всего одна буква разницы от lgbt и то искуственная разница, т.к. t = tree) и уже чувствую себя хорошо.
по крайней мере решился вопрос с пониманием того, какими методами сеть чего-то там решает. а то несколько лет пользовался многослойным перцептроном (в сочетании с некоторым новыми методиками учится хорошо и сравнительно быстро) — а понимания что внутри перцептрона происходит не было. просто чёрный ящик.

в курсе по методологии утверждается, что всё-таки понимание предметной области это очень важно. всё-таки брут-форс не так эффективен как направленный брут-форс.

построил свою модель решающих пеньков, запустил, пока результат отрицательный (как и без них было)

а вот толком lgbm пока не разобрался.

ещё не понял такую штуку: допустим перцептрон может строить модели по нескольким фичам, как функцию от них. 
а решающее дерево, классификатор, как я понял, такого не может.
поэтому высоко скоррелированные фичи для перцептрона норм, а для деревьев похоже — только мешают. и вот я не понял, как же можно и деревья применять и работать со скоррелированными данными.

наверное это следующий шаг — построение архитектур сетей из перцептронов и деревьев.
т.е. тренируем несколько деревьев на несколько наборов нескоррелированных фич, 
тренируем несколько перцептронов на моделирование ещё более высокоуровневых фич 
и результат снова пропускаем через дерево решений. это видимо и есть дип лёрнинг.

как вариант — обучить перцептрон с 3-4 слоями чтоб на выходе было только да или нет, а потом последний слой с 1 нейроном отрезать и вляпать вместо него дерево.

попробую на выхах :)
avatar
как успехи, продолжаешь? 

Я на таком же распутье стою, как ты в начале,  не знаю,  пробовать ли,  математику толком не знаю
На ютубе все бесплатно есть, а эти говношколы, только деньги тянут. Skillbox? вообще пирамида.
avatar

теги блога Replikant_mih

....все тэги



UPDONW
Новый дизайн