Я у мамы аналитик

Со следующего понедельника (4 сентября) стартует конференция по менеджменту продуктов Product Sense 2023. В этот раз я даже взял себя в руки и смог написать о ней не день-в-день из поезда, а чуть заранее. Если говорить про мой опыт, то это единственное ежегодное мероприятие, которое я посещу юбилейный, 5 раз подряд. Помимо очевидных ценностей вроде докладов (качественных) и нетворкинга (в прошлый раз вернулись с новоприобретенным коллегой) я всегда нахожу для себя еще одну. Это возможность со стороны посмотреть на: - то что делаешь сам; - что в этот момент делают другие; - что у кого болит и какие решения существуют. Короче, полный "think outside the box". В итоге, если есть еще такие же слоупоки как я, кто пропустил все сроки - рекомендую ознакомиться с тем, что будет в этом году по ссылке ниже или любым удобным способом. 🔗Ссылка #конференции

Мы добавили вам Питон в Эксель... Новость (вчерашнего) дня: Microsoft запускает публичное превью нативного Python в Excel. Код пишем непосредственно в ячейках, но запускаться он будет не локально, а в облаке Microsoft. Импортировать библиотеки можно. На картинке выше показан пример того, как будет выглядеть генерация графика в seaborn. По функциональности похоже на то, что мы уже видели в Neptyne. Также не первый год существуют другие аналоги вроде PyXLL. В общем, функция не то, чтобы уникальная, но посмотреть на реализацию интересно. 🔗Ссылка #инструменты

Я фанат материалов про уровни зрелости аналитических систем. Вот варианты их оценки, которые рассматривал ранее: 🔹по сложности решаемых задач; 🔹по степени влияния на принятие решений; 🔹по уровню удовлетворения основных потребностей и наличию нужных компетенций; 🔹по подходу к организации хранилищ/озер данных. Дополню список еще одним: по степени "развитости" используемых аналитических инструментов (из статьи "Evolution of the Data Landscape"). Автор выделяет 3 ключевых уровня развития аналитического стека: 🔸Традиционный; 🔸Современный (подробнее тут); 🔸Data-First. Материал продвигает последний из них, предлагая перейти к унифицированному подходу к построению аналитических систем с использованием общих принципов для загрузки, хранения и потребления данных. Выглядит похоже на новомодные Data Mesh/Fabric. Рекомендую ознакомиться, если интересны верхнеуровневые архитектурные вопросы, там еще много интересного про проблемы и ограничения каждого из этапов. 🔗Ссылка #архитекурное #уровни_зрелости

Не придумал лучшего способа вернуться к написанию постов, чем дайджест того, что больше всего приглянулось за последнее время. ОТЧЕТЫ О РЫНКЕ - Data Teams Survey 2023 Results 🔗Ссылка - State of data 2023 🔗Ссылка - The State of Data Engineering 2023 🔗Ссылка ИНСТРУМЕНТЫ - Introducing Microsoft Fabric: Data analytics for the era of AI 🔗Ссылка - Qlik Acquires Talend 🔗Ссылка - Pivot: Managed dbt made easy 🔗Ссылка УПРАВЛЕНИЕ И КОМПЕТЕНЦИИ - Разработчики — налево, методологи — направо: четыре шага к оптимизации работы BI-аналитиков 🔗Ссылка - The struggles scaling data teams face 🔗Ссылка РАЗМЫШЛЕНИЯ - BI by another name 🔗Ссылка - Dashboards are dead: 3 years later 🔗Ссылка ЕЩЕ БОЛЬШЕ ДАЙДЖЕСТОВ - Новые инструменты для работы c ML-моделями и обзор MLOps от CERN 🔗Ссылка - Массивный курс по управлению данными и обзор новинок от NVIDIA. Дайджест полезных текстов про ML и дата-аналитику 🔗Ссылка Telegram-папка с каналами около Data/Analytics/BI 🔗Ссылка #дайджест

Теперь можно не страдать с выбором типа визуализации Директор по инновациям Noteable (это такой онлайн-аналог Jupyter Notebook — платформы для написания кода) анонсировал новый инструмент — Data Prism, который сможет подбирать много вариантов графиков для ваших данных. В статье есть несколько примеров, а полноценный анонс состоится сегодня в 19:00 по Москве — по крайней мере, об этом гласит прямая трансляция, которая висит на страничке.

В продолжение темы про новые инструменты. Интересно понаблюдать за тем, как нейросети начинают экспансию в сервисы для визуализации и аналитики. Например, вот эта штука (Data Prism), найденная @data_csv, умеет генерировать идеи визуализаций по датасету. По поводу качества полученных результатов уже успел знатно и обоснованно поорать Рома Бунин в комментах. Мне остается только присоединиться. #инструменты

Продолжаю копаться в новых инструментах для аналитиков. Если в прошлый раз мы сами заталкивали Google Sheets в Jupyter, то сейчас за нас уже затолкали Python в аналог Google Sheets: Neptyne. Получается, что у нас обычная электронная табличка с одной стороны, IDE с другой и чуть пониже окно запроса в местный "AI" (куда уж без этого). То есть в одном окне можно спросить у нейросети население всех стран, написать эксельные формулы для базовых вычислений, а потом кодом переобразовать в dataframe, обработать pandas-ом и вывывести обратно в табличку. Пока даже пускают бесплатно попробовать. По ссылке ниже чуть подробнее рассказывают про инструмент (хотя на сайте все и так довольно наглядно). 🔗Ссылка #инструменты

Собрали с коллегами дайджест материалов про работу с данными и машинным обучением, которые показались нам интересными. Накопилась критическая масса с начала года. Аналитического и ML-ного примерно серединка-наполовинку, плюс какие-то материалы вы уже могли видеть в моем канале. Вот то, о чем я мог бы, но не собрался написать подробнее: 🔹Рассуждения Benn Stancil о том, как скоро генеративные модели заменят аналитиков; 🔹Кейсы Леруа Мерлен и Почтатеха о построении enterprise дата-платформ; 🔹Новость о покупке Dbt BI-инструмента Transform; 🔹Итоги 2022 года по версии DB Engines; 🔹Подборки сервисов для исследования/визуализации данных и полезных репозиториев для дата-саентистов; 🔸Много материалов по ML/MLOps, в которых я разбираюсь похуже, но, благо, есть специально обученные люди 😉. 🔗Ссылка #дайджест #MLечное #инфраструктурное

Чем больше я смотрю на плагины и расширения Jupyter Notebook, тем больше убеждаюсь, что аналитиков хлебом не корми - дай пооптимизировать что-то. Например, c помощью Mito можно работать с датафреймами как с Excel/Google Sheet с кнопочками, фильтрами, сводными таблицами и прочими удобствами. Эта штука еще и код за тебя попишет. Зачем пихать это все прямо внутрь Jupyter для меня загадка, но какие-то простые вещи действительно удобно делать кнопочками без кода. Кажется, как обычно, лень - двигатель прогресса. У инструмента есть аналоги, как минимум - bamboolib и dtale. Про различия можно почитать, например, в статье на Хабре. Пощупал все три и Mito, в итоге, понравился больше (хотя все еще считаю это все извращением). Видео-демка и документация есть на сайте разработчиков. В дополнение можно почитать восторженные отзывы с medium по ссылке ниже: 🔗Ссылка #инструменты

Matt Turck с коллегами запилили ML/AI/Data Landscape по состоянию на начало 2023 года. Теперь у этого артефакта есть классная аббревиатура MAD, которая отлично отражает всю сущность мира инструментов для анализа данных. Отчет состоит из 4 частей: 🔹Part I: The Landscape; 🔹Part II: Market trends: Financings, M&A and IPOs; 🔹Part III: Trends in data infrastructure; 🔹Part IV: Trends in ML/AI. В этом году проявилась еще и интерактивная версия. Про прошлую версию я что-то писал тут. #инструменты #анализ_рынка