Deep Learn Me

Stealing Part of a Production Language Model Наткнулась тут на прикольную статью, которая хайпово называется КрАжА твоего сердечка КусОчКа ПродАкЩн LLM мОдеЛи. Звучит ну очень по-хацкерски, но на самом деле это просто отдельная область, которая называется attacks на нейросетевые модели, в частности LLM. В этой конкретной работе авторы при помощи ядерного оружия🌟 линейной алгебры и большого набора (стоимостью 20$ обращений к чатгпт апи) log probs ответов модели на промпты находят hidden size скрытого представления данных и “embedding projection layer of a transformer model” (я сильно глубоко не вчитывалась, но как будто это скрытое представление матрицы Q)🔦 Статья мне понравилась, потому что она опирается на базовый линал (в основном на собственные значения матриц и SVD - обожаю SVD!!!!). Единственное, чего я не оч понимаю - что все эти вычисления полагаются на то, что все вектора скрытых представлений живут в линейном пространстве (для которого все эти собственные значения и разложения работают). Не, ну мы все видели эту картинку про Word2Vec, где король-мужчина=королева, но насколько так же линейно все в пространстве скрытых представлений нейросетей…. Хз, я про это иногда думаю, но пока ничего не читала глубокого на тему.❓❓❓ В общем, хз, насколько нам ценны детали о размерностях продакшн ллм моделей, но раз OpenAI так ревностно инфу эту хранит, то почему бы им назло ее не раскопать? В любом случае интересный кейс применения линала и в целом область🙂 #paper #maths #research #llm

Блин, я ничего не понимаю в роботах и во мне умер инженер конструктор, но я правда считаю, что робототехника это одна из самых интересных областей для работы и для мл там сейчас простора дофига Вот показывают, как hugging face чуваки занимаются робототехникой как хобби 😳 Я сначала просто умильнулась, а потом такая "Погодите-ка!" Они реально сделали робота, который распознает свое окружение не классическими object detection моделями, а LLM, которая по изображению может написать, что находится на картинке 😮😮😮 Понятно, что это просто игрушка, но я за областью не слежу, теперь реально и обжект детекшон заменили ллм?❓ #llm #ai_applications #memes

XGBoost External Memory Представьте ситуацию, где у вас есть примерно дофига данных (скажем, csv таблица на 50GB), которые никак не влезут даже в 32GB оперативки 🚽 В области нейросеточек эта дилемма уже давно разрешилась еще на этапе расцвета Computer Vision с тоннами картинок, необходимых для обучения. Еще не доходя распределенных вычислений и запуска обучения на супер компьютере, есть простой инструмент, который упрощает работу с большими данными. Это классы dataset и dataloader (например, в путорче). Их основная идея - реализовать класс датасета, который сможет по индексу загружать в память один элемент датасета, а даталоадер будет эффективно распараллеливать загрузку этих элементов, склеивать в батчи и освобождать память после. Идеологически такой подход, наверное, ближе всего к итераторам/генераторам - которые последовательно перебирают элементы некоторой коллекции, не держа коллекцию в памяти. 🤤 Теперь представьте, что вы хотите обучить XGBoost модель, а не нейросетку… Вот оказывается, у XGBoost есть своя имплементация похожей концепции. Называется XGBoost External Memory Version. Строится она ровно на итераторе, но небольшое отличие от dataset/dataloader в том, что надо написать итератор не по отдельным элементам датасета, а по большим чанкам (например, поделить исходный файл на несколько маленьких и по кусочкам его загружать). 🤤 Для этого итератора потом можно собрать объект внутреннего XGBoost формата DMatrix (не волнуйтесь, он не загружает все чанки в память, а при создании создает свой файлик кеша, который потом использует для более эффективного обращения с данными при обучении) Объект DMatrix потом используется как параметр метода xgboost.train (классы XGBClassifire/XGBRegressor с интерфейсом sklearn не поддерживаются), и вот вуаля - обучение в режиме Large Dataset ! Enjoy 🙂🙂🙂 #framework #boosting #table_data #useful_links

Цундере Пассивно-агрессивная conda 🐍🌟🌟 #memes #python

Kubernetes Release Themes На прошлой неделе был релиз v1.30 Kubernetes и я узнала, что у каждого релиза есть своя тема. И у этого релиза тема - UwU смайлик. И, соответственно, мотто “Kubernetes v1.30 makes your clusters cuter!”. 🍀🍀🍀🍀🍀 Так что срочно бежим обновлять кубернетесы!💵 Я поскроллила по старым релизам, мне еще понравился экзистенциальная Mandala и неоновый Electrifying. Вообще, девопсы - какие-то самые няшные на свете люди, по ходу. Мне нравится вся эта декоративная мишура, когда я полгода назад начала работать с Helm меня умиляло, что на кажду helm команду тебе в терминале принтят “Happy Helming!”, пустячок, а приятно UwU #kubernetes #devops #helm

Это мы или не мы https://t.me/kabinet_memologa/65233

Я просто обожаю хорошие визуализации, потому что имхо картинка гораздо лучше передает информацию в большинстве случаев, чем текст Вот можно было просто сказать "Прикиньте, если спросить у чата гпт назвать число от 1 до 100, то он скорее всего скажет 42!" А можно вот, heatmap нарисовать ☺🤩 https://t.me/ithueti/12457

Как же горело у художников, когда стали выкатывать первые модели с диффузией пару лет назад... как у нас от Devin примерно :D На деле оказывается, что эти модели - еще один инструмент наряду с фотошопом, который поможет творить и вытворять больше и быстрее. Наткнулась на канал VERLAB, где чуваки генерируют интерьеры на основе произведений искусства/фотографий/архитектурных стилей. Я не знаю, какой у них точный рецепт этого коктейля (взболтать, но не смешивать) из нейронок и ручного фотошопа, но это выглядит так СТИЛЬНО и КРАСИВО, просто отвал башки, если нейронки в умелых руках такое могут - правильной дорогой идем, товарищи✨👍 #useful_links #image_generation #ai_applications