Neural Networks | Нейронные сети

👉 Открытые решения в сфере ML/Data в России Исследовательский центр ИТМО провел анализ использования Open Source в области машинного обучения и работы с данными в России. Результаты показали, что отечественные компании активно развивают и применяют открытые технологии, ориентируясь как на внутренний, так и на международный рынок. Исследование также отмечает, что идея о том, что участие в опенсорс-разработках помогает конкурентам, постепенно теряет свою актуальность. Всё больше компаний нацелены на развитие всей отрасли. Лидером среди российских разработчиков открытого ПО стали Яндекс, Сбер и Т-банк. У Яндекса насчитали 120 открытых решений, среди которых выделяются: CatBoost — библиотека для градиентного бустинга, YTsaurus — платформа для работы с большими данными и YDB — распределённая SQL база данных. Вне основного рейтинга был отмечен проект ClickHouse. ▪️ Источник: https://opensource.itmo.ru @neural

🔥 Gen-3 video-to-video только что вышел Runway Gen-3 представили новую функцию video-to-video! Теперь можно загружать видео до 10 секунд и редактировать его с помощью текстовых команд. Меняйте стиль, погоду, освещение и движения, при этом сохраняя детали и геометрию сцены. Новая функция доступна только для подписчиков. https://runwayml.com/product @vistehno

Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас ⚡️ Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «Digital и IT» 🖥️ https://t.me/addlist/Oa_vsjsHLx4zZjky Добавиться в подборку

🚀 Крутая бесплатная нейросеть которая превращает любое видео в обучающий курс Утилита study.new загрузит видео, достанет из него всё самое важное и выдаст вам. Всё, что нужно — вставить перед ссылкой study.new/

🧬 Machine Learning: Медицинский дайджест 1.09-07.09 2024 г https://habr.com/ru/articles/841870/ @neural

🌟 OpenVLA: Open-Source Vision-Language-Action модели. OpenVLA - набор моделей с 7млрд. параметров, которые предназначены для универсального управления роботами. OpenVLA состоит из комбинации визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, выступающей в качестве основы. Обучение производилось на наборе данных Open-X, который состоит из 970 тыс. траекторий манипуляций в различных средах. Модели принимают на вход языковую инструкцию и изображение рабочей области с камеры робота. Затем, OpenVLA предсказывает нормализированные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper). Для выполнения на реальной роботизированной платформе действия должны быть де-нормализованы с учетом статистики, вычисляемой для каждого робота и каждого набора данных. OpenVLA готовы к использованию для управления роботами в комбинациях действий и обстановках, если они схожи с действиями и задачами, которые присутствуют в Open-X (например, для сред BridgeV2 с роботом Widow-X). Модели не умеют самообучаться на условиях, не представленных в предварительном обучении; для решения таких случаев разработчики подготовили подробные инструкции по самостоятельному дообучению на вашем наборе демонстраций. Семейство OpenVLA состоит из 5 модификаций базовой OpenVLA-7B: 🟢openvla-7b-prismatic - адаптация для использования с Prismatic VLMs project codebase; 🟢openvla-7b-finetuned-libero-spatial - - файнтюн с помощью LoRA на датасете LIBERO-Spatial бенчмарка LIBERO; 🟢openvla-7b-finetuned-libero-object - файнтюн с помощью LoRA на датасете LIBERO-Object; 🟢openvla/openvla-7b-finetuned-libero-10 - файнтюн с помощью LoRA на датасете LIBERO-10 (Long). ▶️Установка :

# Create venv 
conda create -n openvla python=3.10 -y
conda activate openvla

# Install PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y

# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .

# for training only
# Install Flash Attention 2
pip install packaging ninja
ninja --version; echo $? # --> should return code "0"
pip install "flash-attn==2.5.5" --no-build-isolation

📌Лицензирование : MIT License. 🟡Страница проекта 🟡Arxiv 🟡Набор моделей 🖥Github @ai_machinelearning_big_data #AI #ML #OpetVLA #Robotics

🌟 ICRT : Внутриконтекстное обучение имитации действия с помощью предсказания следующего токена. In-Context Robot Transformer (ICRT) - модель, которая позволяет роботу выполнять новые задачи, интерпретируя контекстную информацию, предоставленную во время демонстрационной фазы, без обновления параметров базовой политики. ICRT представляет собой причинно-следственный трансформер, который выполняет автоматический прогноз сенсомоторных траекторий без использования лингвистических данных или функции вознаграждения. Он позволяет гибко и без обучения выполнять новые задачи на основе наблюдений изображений, действий и состояний, собранных с помощью телеопераций человека. Модель состоит из трех частей: предварительно обученного кодировщика изображений, серии проекторов для каждой из входных модальностей и каузального трансформера: 🟠Кодировщик изображений обрабатывает разноплановые наблюдения через трансформер, который был обучен на смеси данных ImageNet и Open X-Embodiment 🟠Проекторы преобразуют наблюдения, состояние робота и действия в общее латентное пространство для последующего моделирования 🟠Трансформер принимает на вход последовательность токенов, представляющих состояние робота и действия, и производит выходные данные, которые используются для управления роботом. Для предварительного обучения модели использовался датасет DROID и созданный вручную мультизадачный датасет ICRT-Multi-Task (ICRT-MT - 1098 траекторий, 26 задач с 6 примитивами), который использовался в этапе дообучения. Результаты экспериментов показывают, что ICRT способен обобщать незнакомые задачи и объекты, даже в средах, которые отличаются от демонстрационных. ▶️Установка:

# Create & activate venv
conda create -n icrt python=3.10 -y
conda activate icrt

# Install torch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia 
conda install -c conda-forge ffmpeg

# Clone the Repository
git clone https://github.com/Max-Fu/icrt.git
cd icrt

# Install required packages
pip install -e .

# Install git-lfs 
sudo apt install git-lfs
git lfs install

# Download checkpoints
git clone [email protected]:mlfu7/ICRT checkpoints

Пример инференса приведен в ноутбуке inference.ipynb. Перед его запуском обязательно ознакомьтесь с рекомендациями по загрузке и созданию собственного датасета. 📌Лицензирование : Apache 2.0 License. 🟡Arxiv 🟡Dataset 🟡Модель 🖥Github @ai_machinelearning_big_data #AI #ML #Robotics #ICRT

Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас 🤝 Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «IT и Технологий» 🔥 https://t.me/addlist/VMuK8A3-KfM5NzM6 Хотите в подборку?

⚙️ Как работает кластерная якорная регуляризация в рекомендательных системах ML-специалисты Яндекса разобрали метод от DeepMind, который применяется для YouTube Shorts. Якорная регуляризация помогает справиться с проблемой, когда обучение на логах юзеров может приводить к popularity bias. @neural

⚙️ Как работает кластерная якорная регуляризация в рекомендательных системах ML-специалисты Яндекса разобрали метод от DeepMind, который применяется для YouTube Shorts. Якорная регуляризация помогает справиться с проблемой, когда обучение на логах юзеров может приводить к popularity bias. @neural