BIG-EX | Machine Learning, Big Data & Data Science

MotionDirector может настраивать модели распространения текста в видео для создания видеороликов с желаемыми движениями. Github: https://github.com/showlab/MotionDirector Paper: https://arxiv.org/abs/2310.08465 Project: showlab.github.io/MotionDirector/

Rectified Flow — многообещающий способ ускорения предварительно обученных диффузионных моделей. Новая модель изучает кусочно-линейный вероятностный поток, который может эффективно генерировать высококачественные изображения всего за 4 шага, называемый кусочно-выпрямленным потоком (PerFlow). Github Project

TripoSR, современной модели с открытым исходным кодом для быстрой 3D-реконструкции с прямой связью из одного изображения, совместно разработанной Tripo AI и Stability AI. Используя принципы Большой модели реконструкции (LRM), TripoSR предлагает ключевые достижения, которые значительно повышают скорость и качество 3D-реконструкции. page: https://tripo3d.ai paper:https://drive.google.com/file/d/1LWlZPT2aASi9jHiGVhDSr4YCTANoFW5t/view code: https://github.com/VAST-AI-Research/TripoSR

Набор данных ImageNet содержит 14 197 122 аннотированных изображения в соответствии с иерархией WordNet. С 2010 года набор данных используется в конкурсе ImageNet Large Scale Visual Recognition Challenge (ILSVRC), эталоне в классификации изображений и обнаружении объектов. Публично опубликованный набор данных содержит набор обучающих изображений, аннотированных вручную. Github: https://github.com/LTH14/rcg Paper: https://arxiv.org/abs/2312.03701 Dataset: https://paperswithcode.com/dataset/imagenet

В этом документе представлена новая структура, которая позволяет настраивать количество изменений на пиксель или на область изображения. Нашу структуру можно интегрировать в любую существующую модель распространения, дополнив ее этой возможностью. Такой детальный контроль над количеством изменений открывает широкий спектр новых возможностей редактирования, таких как контроль степени изменения отдельных объектов или возможность вводить постепенные пространственные изменения. code: github.com/exx8/differential-diffusion page: differential-diffusion.github.io paper: arxiv.org/abs/2306.00950

Новый фреймворк предназначенный для диффузионных моделей (например, SD) для создания изображений с любым разрешением и соотношением сторон. В отличие от других методов генерации с заданным разрешениями, которые обрабатывают изображения с последующей обработкой, ResAdapter напрямую генерирует изображения с заданным разрешением. page: https://res-adapter.github.io paper: https://arxiv.org/abs/2403.02084 code: https://github.com/bytedance/res-adapter

MagicAnimate стремится анимировать эталонное изображение, придерживаясь последовательностей движений с временной согласованностью. Github: https://github.com/magic-research/magic-animate HF: https://huggingface.co/spaces/zcxu-eric/magicanimate Paper: arxiv.org/abs/2311.16498

Amphion — набор инструментов для создания аудио, музыки и речи. Его цель — поддержать воспроизводимые исследования и помочь младшим исследователям и инженерам начать работу в области исследований и разработок в области аудио, музыки и генерации речи. Amphion предлагает уникальную функцию: визуализацию классических моделей или архитектур. GitHub: https://github.com/open-mmlab/Amphion Paper: arxiv.org/abs/2312.09911 HF: https://huggingface.co/amphion

В этой статье специалисты Яндекса рассказали, как внедрили в Браузер пересказ видео любой длины от нейросети. В материале привели полный пайплайн решения, рассказали о реализации с технической и с точки зрения UX продукта и разобрали причины, почему модель YandexGPT, заточенная под суммаризацию статей, не подходит для пересказа видео. 👉 Ссылка на статью

TIAToolbox — это набор инструментов для вычислительной патологии, разработанный TIA Center, который предоставляет комплексный API для анализа изображений патологии с использованием лучших практик. Он основан на PyTorch , популярной платформе глубокого обучения, которая обеспечивает эффективную и гибкую реализацию самых современных алгоритмов. TIAToolbox поддерживает множество функций через интерфейс командной строки и может интегрироваться со стандартными модулями PyTorch. Он также предлагает инструменты для загрузки данных, предварительной обработки, вывода модели, постобработки и визуализации. 👉Github: https://github.com/tissueimageanalytics/tiatoolbox 👉Paper: https://arxiv.org/pdf/2402.09990v1.pdf 👉Tasks: https://paperswithcode.com/task/whole-slide-images