New Yorko Times

Стрим через 2 часа, 17:30-18:30 CET (18:30-19:30 мск). С самыми упорными, возможно, задержимся еще на полчаса, вопросов интересных поступило немало. Streamyard В начале разогрева ради – хиханьки, если не опоздаете, узнаете, кто гонял мяч со Смоловым, кто ест холодную еду, а кто сегодня спал днём.

#shitpost Продолжаю экскурсию по офисам Гугла. В Стокгольме довольно комфортные комнаты для сна. Самое большое скопление людей - вокруг стола для пинг-понга, и средний уровень играющих меня впечатлил. Коллега говорит, в 4 в офисе уже пусто. Как-то промо весной отменили и рефрешеры не всем дают…

Стрим про карьеру, собеседования и бигтех #career #interviews Choose your fighter. Собрал вам тут бигтех-банду для стрима: - Татьяна Шаврина (LI) – Research Scientist Manager в лондонской Мете в команде LLama-4, авторка канала @rybolos_channel (пост-приветствие). Недавно устроилась, может рассказать про собесы и что именно спрашивают на менеджера; - Артем Санакоев (LI) – Staff Research Scientist в цюрихской Мете, GenAI, автор канала @ai_newz (пост-приветствие). Собеседует на синьорные позиции в Мету; - Сергей Иванов (LI) – Senior Applied Scientist в парижском Amazon, соавтор канала @graphML. Провел 100+ собесов в Амазон, может рассказать про хардкорные поведенческие вопросы; - Борис Цейтлин (LI) – Staff MLE в берлинском eBay, автор канала @boris_again (пост-приветствие). Недавно отмучился с собесами; - Юрий Кашницкий (LI) – Staff GenAI Solutions Architect в амстердамском Google Cloud, автор канала @new_yorko_times (пост-приветствие). Читатели этого канала знают про этот долгий заход по собесам (пост). Он же (то есть я) будет скоморошить, вести встречу. Вопросы можно задавать заранее тут в треде, либо во время стрима. Можно адресовать конкретно кому-то из спикеров, например, «Вопрос Борису: доколе?» Время: 20 сентября, 17:30-18:30 CET. Streamyard – ссылка для просмотра (там же по ссылке можно добавить в календарь). Записи не будет, все вживую. Мест – максимум 1000 😀

Genius Makers #books #coolstorybob Дослушал “Genius Makers: The Mavericks who brought AI to Google, Facebook, and the world”. Как вы поняли, всячески рекомендую. В ней помимо истории про успехи и неудачи нейросетей, довольно много жизнеописаний Марвина Мински, Хинтона, Лекуна и прочих героев. Самую впечатляющую байку про Гудфеллоу я уже описал, но в книге будет еще как минимум 10 эпизодов, которые захватят ваше внимание. Вот некоторые из них: - Как появилась LSTM, Хинтон троллил Шмидхубера расшифровкой Looks Stupid To Me. Но спустя несколько лет пришлось признать, что что-то в этом есть; - Когда еще никто не верил в нейронки, до Image-Net момента, студенты Хинтона побили все соты в Майкрософте. Но там в руководстве было слишком много скептиков-символистов, размахивающих устаревшей статьей Марвина Мински, что перцептрон Розенблатта не решает XOR-проблему. В итоге нейронки по-настоящему раскатились в Гугле и Фэйсбуке, а не Майкрософте; - Румельхарт, всю жизнь посвятивший идее нейронных сетей, боровшийся за них во все эпизоды массового разочарования- не дожил несколько месяцев до ImageNet-момента; - Эндрю Ын общался с Ларри Пэйджем и главой поиска в Гугле, пытался убедить, что нейронки - будущее. Экспериментировать с поиском не позволили, но Пэйдж с Брином одобрили открытие лаборатории Google Brain. Ын ее возглавил, но довольно быстро ушел делать Курсеру, а себе на смену посоветовал Хинтона. Хинтон согласился, и первое время формально был в Гугле интерном; - На одной из конференций Джеф Дин представлял масштабированную гугловскую систему для обучения нейронок. Гудфеллоу, еще студент, встал и потроллил Дина за то, что все на CPU, а не GPU. Иан просто не знал, кто такой Дин; - Из-за проблем со спиной Хинтон не садился ни разу за 15 лет. “It’s a long-standing problem», говорил он; - Когда в OpenAI встречали напитками Иана Гудфеллоу, Илья Суцкевер поднял тост за AGI через 3 года. Иан покраснел от кринжа и стал мяться, в какой момент бы сказать, что он отказывается от оффера. Как всегда, маловато времени уделили Щмидхуберу. Да и повествование обрывается на сюжетах из 21-го года, до LLM-революции. Но все равно в книге найдете еще кучу интересных сюжетов.

Осознанно НЕ добиваться #career #tips Не секрет, что нашей культуре близко достигаторство. Вокруг полно дочерей папиных друзей, дети после школы идут на непустое множество секций и курсов, порой упуская нормальное детство. Круто иметь две работы и подработку впридачу и хвастаться тем, что спишь по 4 часа. В моем случае это только отчасти сарказм, поскольку в 2017, когда пришел в мэйл, начал тащить млкурс, преподавал в корпорациях, еще часть мозга отнимал диссер. А впридачу был хоккей на льду (вот по нему скучаю). Возвращался домой в первом часу, чтоб перекинуться парой слов с девушкой и в 2-3 упасть поспать. При всем этом я замечал, что порой здоровое достигаторство (а-ля карьерный рост) путают просто с упрямством. И бывает важно НЕ делать что-то любой ценой. То есть подумать про альтернативную стоимость (opportunity cost). Может, нет смысла достигать X любой ценой? Это верно как про работу, так и на личном уровне. Приведу 3 примера из моего саморазвития: 1) C++. Я вообще в целом не инженер, за 3-4 часа упорной разработки или тем более дебаггинга мой мозг тухнет так, что дальше уже ничего невозможно делать. Программирование в школе я как-то упустил, на 1 курсе физтеха с трудом нагонял Си. Когда на 3-м курсе познакомился с питоном, это было настоящей отдушиной. Оказывается, можно что-то простое сделать за час, а не целый день выжигания глюкозы в процессе борьбы с непонятными ошибками. И дальше я принял осознанное решение: я не буду инвестировать 1к+ часов в изучение плюсов. Попросту не буду счастлив. И даже если бы мне этот навык открыл новые перспективы, альтернативная стоимость изучения плюсов слишком высока. 2) Kaggle grandmaster Достижение титула kaggle master заняло у меня тонну времени. И хоть я много попутно изучил и в целом не жалею, но все же далеко не каждый час на кэггле того стоил (долбанный стекинг!). И так я принял решение, что не буду добиваться лычки Kaggle grandmaster. Незачем. Процесс мне не так уж и нравится. Выхлоп от лычки грандмастера в большинстве мест не выше чем от мастера (а скорее HR воооще путает с discussions grandmaster). Этих грандмастеров всего пара сотен в мире (upd: 346), и я не один из них, это нормально (кстати, есть ли там хоть одна женщина? ну да ладно). 3) ШАД. Что лукавить, пока я был студентом-аспирантом, меня всегда манили Яндекс и ШАД. Мой максимализм просто должен был привести меня в ШАД. Я даже нашел препода и начал готовиться. Но как копнул вглубь, узнал каково это учиться в ШАДе («он как газ - занимает все выделенное на него пространство»), понял, что поезд ушел - я уже на тот момент и поработал пару лет, и диссер начал делать. Да и в целом можно прекрасно карьерно расти и без ШАДа (к слову, когда новички хотят влиться в DS через ШАД – на мой взгляд, в 99% случаев это ошибка). Мораль проста и душна: приоретизация - один из важнейших навыков. И порой надо осознанно не делать что-то.

Как пьяный Гудфеллоу закодил ганы #ml #coolstorybob Мем выше - только отчасти мем. Осенью 2013-го Иан заканчивал PhD, встречался с новой девушкой и жестко прокрастинировал с книгой Deep Learning. Его коллега по лабе получил оффер от DeepMind, и ребята собрались в барчике отметить такое дело. Беседа полилась, как пиво, в том числе начали обсуждать генерацию фотореалистичных изображений (на тот момент - чисто теория). Пара ребят предложили идею: собрать кучу статистик сгенерированных изображений и сравнить со статистиками реальных. Иан им объяснил, что таких статистик понадобится примерно миллиард, а потом кликнуло: нужен классификатор. Хмель начал бить в голову, и Иан вкратце описал товарищам идею GANs. Те отнеслись скептически: «камон, мы тут одну нейросетку не можем обучить, а ты предлагаешь сразу две». Часа в 2 ночи Иан вернулся домой, девушка уже спала, проснулась только чтоб поздороваться и снова забыться. Иан открыл ноутбук, и начал, освещая спящую девушку экраном и бубня под нос «friends are wrong», кодить GANs. Заработало с первого прогона. После этого были NIPS, гугл, и Лекун, назвавший идею GANs - лучшей за 20 лет. Хинтон, помедлив и отсчитав годы от рождения backprop, согласился. Остальное вы наверняка помните. Вольный пересказ «Genius makers», главы 13.

#meme #diy

#tips Порефлексируем на одну из самых обсуждаемых в последние дни тем – как правильно поделиться своим жупитер-ноутбуком с другими. Ну ладно, допустим, это поможет 3-4 людям, но это тот самый нишевый совет, который может попасть прям в точку. Я долго искал разные способы обернуть контент с кодом, картинками, визуализациями (читай, жупитер ноутбук) в сайт и лучшее, что нашел – JupyterBook (не путать с jupyter notebook). Вкратце упоминал тут, но расскажу чуть подробней: JupyterBook – очень удобный способ завернуть свой материал и поделиться им в виде статического сайта. Особенно если ноутбуков более одного и хочется их структурировать и повесить в вебе в удобном виде. Идеально для курсов/книг с кодом. Жупитер-бук поддерживает: - нормальный контроль версий без костылей типа nbdiff, основной контент – markdown (хотя если ооочень хочется, можно и ipynb отрендерить) - CI/CD для жупитер-подобного контента. Можно все настроить так, чтоб быть уверенным: код рабочий - Публикация “книги” на сайте одной командой - Мелкие фишки такие как кнопки для открытия PR, чтоб указать на ошибку, поиск по всему контенту, автоматические оглавления и т.д. - Если очень хочется дать воспроизвести код – есть интеграция с JupyterHub и Binder (последнее кто-то юзает?) Вряд ли многие из вас пилят курсы, но для тех кто все же да – помимо quick start в офиц документации, можно подсмотреть в мои проекты с jupyterbook: - млкурс одс – сайт, гитхаб - курс ODS по квантовому ML – сайт, гитхаб - книга Machine Learning Simplified (про которую писал тут) – сайт, гитхаб. Fun fact: автор добавил меня в key contributors как раз за PR с оборачиваением всех упражнений в jupyterbook, оказалось что надо. Минусы тоже есть: в документации бывает сложно найти какие-то мелочи, где-то нужен MyST-markdown (расширение обычного маркдауна), то есть какие-то заклинания приходится гуглить. И в целом запросы часто выводят на документацию jupyter notebook, а не jupyter book. Для чего не подходит JupyterBook: - Если нубук всего один - заморачиваться не стоит, в таком случае старый добрый google colab. - Для своего персонального сайта/блога. Ну, любители голого маркдауна могут, конечно, и блог на нем написать, но все же для блога JupyterBook выглядит чутка уныло.

#random Захожу в мюнхенский офис гугла (вторник, 16.00). Первый звук, слышимый еще из двора - шарик от пинг-понга. Что-то на руки мало остается и фаер не близко…

Есть мнение, что телеграм – лучшая соцсеть (хоть и не соцсеть) в разрезе осознанного потребления контента. Нет алгоритмической ленты, рекомендаций, рекламы – минимум (если видите ее внизу – это не я). Чисто подписываешься на тот контент, который считаешь ценным. В ангоязычной среде, кстати, лучше email рассылок ничего не придумали, так что нам повезло с Дуровым и телегой. В этом канале рекламы не было и не будет, а будут лонгриды, карьерные советы, в том числе про гугл. Подборку хороших постов можно найти в закрепах (интро-пост). Будут и стримы, скоро объявлю один с целыми 6-ю инфлюенсерами из бигтеха – про карьеру и собесы. К слову о рекламе, я отшиваю примерно десяток запросов на рекламу в неделю, так что вы защищены от скилбоксов, сбера и выкорчевателей вросшего ногтя. Так что канал остается отдушиной, а не средством заработка. Но если подсыпете звездочек – не откажусь :)