Блог им. Zashibis

Битва ИИ-профессий: менеджеры vs кодеры. Кто забрал больше в гонке за $1 млн на Upwork?

По работе мне постоянно приходится быть в курсе разных нейросетей и простых решений на них,  чтобы подсмотреть часть идей для использования в компании. В феврале я наткнулся на исследование OpenAI под названием SWE-Lancer, в котором ИИ должен был заработать $1 млн .

Что такое SWE-Lancer? Если коротко, то

Опытные специалисты из OpenAI (разработчик ChatGPT) выгрузили с фриланс-биржи Upwork кучу задач. Далее отобрали только те, где в описании есть все данные для решения задачи. Осталось 1488 штуки. После этого начали тестировать как с ними справятся нейросети.

 

Сколько «заработали» нейросети (в теории)?

Самая лучшая на тот момент, Claude 3.5 Sonnet, успешно справилась с 26,2% задач кодирования  и 44,9% решений по управлению проектами (например: выбор подрядчиков, оценка рисков, распределение бюджета). 

 Битва ИИ-профессий: менеджеры vs кодеры. Кто забрал больше в гонке за $1 млн на Upwork?

Что меня особенно заинтересовало в этом исследовании: ИИ оказался сильнее в принятии решений, чем в написании кода, при том, что в СМИ рассуждают о программистах, копирайтерах и дизайнерах. У меня на работе больше менеджеров, чем программистов, но есть вероятность, что они не очень будут рады новым возможностям по использованию нейросетей.

При этом, надеюсь, что есть уже смышленые менеджеры, которые работают на 2-3 работах 8ч в совокупности, получая заметную прибавку к зп )

Подписывайтесь на мой Telegram-канал. Там разбираю примеры применения LLM, которые использую сам.

★1
2 комментария
В книге
www.inf.u-szeged.hu/~korosig/teach/books/Jason Brownlee — Deep Learning for Time Series Forecasting — Predict the Future with MLPs, CNNs and LSTMs in Python (2018).pdf
утверждается, что нейросети прогнозируют временные ряды хуже стандартной статистики. А новейшие сложные сети — хуже самых простых MLP.
avatar
Rostislav Kudryashov, это точно.  Изначальная цель LLM предсказать одно следующее слово по контексту. Т.е. если я спрашиваю про дивиденды сбера, и в ответе чтобы не было  про туалеты, а текст выглядел связно. Но он стал настолько выглядеть связно, что люди начинают пробовать для LLM все задачи.  С математикой с математикой и логикой у них трудновато. Но отлично со многими другими задачами. Нужен в идеале, наверное, оркестратор в задачах, который разобьет задачу на составляющие и что-то отдаст алгоритмам статистики, машинного обучения и т.д, а что-то LLM.
avatar

теги блога Сергей Попов

....все тэги



UPDONW
Новый дизайн