Neurohive 🕘 история названий (1)

🎼YuE2: открытая модель генерирует песни с редактируемой партитурой на уровне Suno v5 Команда китайских исследователей из HKUST, HKGAI и сообщества Multimodal Art Projection (M-A-P) представила YuE2-3B - открытую нейросеть для создания песен. Сначала она сочиняет композицию в виде читаемой партитуры, а потом исполняет её как готовый трек с вокалом. Партитуру можно поправить вручную или через LLM-агента и получить новую версию песни, а если снять ноты с чужой записи, модель без дообучения исполнит кавер в другом стиле. Примеры песен опубликованы на странице проекта. Партитуру YuE2 пишет в нотации ABC: темп, размер, тональность, такты, метки куплета и припева, аккорды и ноты. Генерация идёт в три шага: партитура, затем семантические токены, затем акустические латентные представления (латенты). Для них звук делится на фреймы по 40 мс, и каждый фрейм описывается 64 числами. Семантические токены добавляют то, что неудобно записать нотами, а из латентов отдельный вариационный автоэнкодер (VAE) собирает стерео 48 кГц. Все три шага выполняет один трансформер из 28 слоёв по схеме Mixture-of-Transformers (MoT): в каждом слое два эксперта со своими весами и общим механизмом внимания. В слепом прослушивании эксперты предпочли YuE2 песням Suno v4.5 в 57.3% сравнений против 30.5%. С Suno v5 вышла почти ничья: 40.4% против 39.9%. На бенчмарке WildSongBench у этой настройки 6.96 балла по SongBench с минимальным отрывом от ближайших конкурентов Mureka 9 (6.94) и Suno v5 (6.87). Тесты показали, что партитура делает песню лучше: с ней эксперты выбирали трек в 49.3% сравнений, без неё в 34.6%. Веса YuE2 открыты на Hugging Face под некоммерческой лицензией CC BY-NC 4.0. Код инференса и скилл yue2-music для LLM-агентов опубликованы на GitHub. Создать песню с помощью YuE2 без установки можно в бесплатном веб-демо. #Stateoftheart

RRSI: метод рекурсивного самоулучшения обвязки ИИ-агентов от Google улучшил результаты Claude Opus 4.8 на всех бенчмарках Исследователи из Google Cloud AI Research представили метод RRSI (Regularized Recursive Self-Improvement), который автоматически улучшает обвязку ИИ-агентов так, чтобы прирост сохранялся и на новых задачах. Обвязка - это всё, что окружает замороженную LLM: промпты, логика управления, инструменты, память и работа с контекстом. Метод полезен командам, которые строят агентов на закрытых моделях через API: веса таких моделей недоступны, поэтому качество агента поднимают через обвязку. Ещё он нужен тем, кто уже оптимизирует промпты и инструменты автоматически и видит, что прирост не переносится на новые задачи. Обвязка ИИ-агента решает, какой файл прочитать перед правкой, как восстановиться после упавшей команды и что оставить в контексте. Регуляризация во время обучения мешает модели зазубривать обучающие данные, например, применяет штраф за слишком большие веса. RRSI применяет ту же идею к обвязке: менять можно всё, от промптов до субагентов, но избегает подгонки результатов под конкретный бенчмарк. Существующие методы автоматической настройки обвязки почти не переносят прирост на новые задачи. С обвязкой RRSI агент на Claude Opus 4.8 стал лучше на всех восьми бенчмарках. На задачах, на которых настраивали обвязку, он прибавил от 1.1 до 6.0 пункта (на Terminal-Bench 2.1 с 74.2 до 80.2), а на пяти незнакомых бенчмарках от 1.8 до 4.7 пункта (на JobBench с 36.0 до 40.7). В офисных задачах средний результат на незнакомых бенчмарках вырос с 39.7 до 43.6 пункта, а на инженерном Frontier-Eng с 17.7 до 22.0, то есть на 24.3%. При этом обвязка RRSI экономнее: с ней агент тратит на одну задачу в среднем 2.42 млн токенов, а с обвязкой, настроенной без регуляризации, 3.80 млн. Код опубликован на GitHub под лицензией Apache 2.0, журналы экспериментов выложены на странице проекта. #Stateoftheart

🚀 Приглашаем на третий конкурс по археологии от Phystech.Genesis. 🗓 Подача заявок до 30 сентября, 23:59 мск 👨‍💻 Работа над решениями — октябрь–ноябрь 2026 🔝 Реальные данные — реальный вызов 🔥 Призовой фонд 30 000 000 ₽ Организаторы уже провели два конкурса— теперь очередь третьего. В нём модели участников будут находить объекты и в рельефе, и на поверхности, и под землёй — в культурном слое и материке. ⚡️ Ждём команды из 2–5 человек с уверенными навыками в машинном обучении и компьютерном зрении. 📌 Формат — онлайн-платформа Phystech.Genesis. Можно участвовать как физическим, так и юридическим лицам. Перейти к регистрации

⚙️ MWS AI (входит в МТС Web Services) обновила платформу для создания ИИ-агентов MWS AI Agents Platform. MWS AI Agents Platform — корпоративная no-code платформа для создания, запуска и масштабирования ИИ-агентов и мультиагентных систем. В новой версии агенты получили песочницу для выполнения кода в изолированной среде внутри контура заказчика, без обращения к внешнему сервису. Она создаётся под конкретную задачу и удаляется после её завершения. Благодаря долгосрочной памяти агент учитывает в следующих диалогах информацию о пользователе. А запуск по расписанию позволяет выполнять регулярные задачи автоматически, без дополнительной команды. В конструкторе интерфейсов можно собрать для агента экран с кнопками, графиками и таблицами, причём для клиента, сотрудника и руководителя он может выглядеть по-разному. Платформа также показывает, что происходило на каждом этапе работы агента и где возникли ошибки.

Vidu S2: модель генерирует видео-аватары и редактирует стримы на лету в 720p при 25–42 FPS Tsinghua University и Shengshu Technology представили две видеомодели, с помощью которых можно создать цифровой аватар и провести с ним видеозвонок или запустить стрим, а видеопоток редактировать в реальном времени. И все это в 720p при 25–42 FPS. Есть и режим без трансляции: загружаете фотографию и аудиодорожку, получаете готовый ролик, где аватар проговаривает текст по сценарию. Vidu S2-Avatar на основе одной фотографии создает цифровой аватар: он произносит поданную аудиодорожку, меняет выражение лица, переводит взгляд, жестикулирует и выполняет текстовые или голосовые команды, вплоть до танца. Поток не ограничен по длине. Новую опорную картинку можно подать в любой момент прямо посреди трансляции: показали кружку – персонаж берёт её в руку, показали пиджак – надевает его, подали пляж – уходит из комнаты и оказывается на пляже. Vidu S2-Editing редактирует видеопоток в реалтайме по текстовой инструкции и опорной картинке: перекрашивает ролик в другой стиль, переодевает человека в кадре, заменяет его другим персонажем или подменяет фон. Движение и тайминг исходника сохраняются кадр в кадр. Редактировать можно и то, что человек видит через камеру VR-шлема - результат обе модели отдают в том числе стереопарой для VR. Разрешение выросло с 540p у предыдущей версии Vidu S1 до 720p при 25–42 FPS. На StreamAV-Bench модель показала лучший результат по всем девяти метриках. На тесте виртуальной примерки ViViD метрика VFID упала до 9.95 против 19.51 у прежнего лидера, а в слепых парных сравнениях оценщики предпочли Vidu S2-Avatar конкурентам в 85.7–100% случаев. Модели доступны в веб-приложении и по API. Генерация Vidu S2-Avatar в реалтайме стоит примерно 45 центов за минуту или $27 за час непрерывной трансляции. Клонирование голоса обойдется в $4.5 за голос, первые 10 голосов бесплатно. Новым пользователям при регистрации начисляются пробные кредиты. #Stateoftheart

WorldSculpt: модель собирает 3D-сцену с сотнями отдельных объектов из видео Alaya Lab и Токийский университет представили открытую модель, которая строит 3D-копию комнаты или улицы, где каждый предмет остаётся самостоятельным мэшем. Стул можно выделить, отодвинуть, уронить в физическом движке. Существующие подходы либо склеивают сцену в один кусок геометрии, либо оставляют дыры там, где предмет закрыт другим. Код модели опубликован на Github, веса - на HuggingFace. Из отснятого помещения получается сцена в Blender или Unity, где мебель существует по отдельности: диван можно убрать, стол подвинуть, лампу заменить другой моделью. Для игр так собирают уровни из реальных интерьеров. В AR приложение начинает понимать, что перед ним стол, а не безымянная поверхность. Дизайнеру интерьеров такая сцена даёт готовый набор ассетов вместо цельной болванки. Роботы могут отработать захват кружки в симуляторе, где кружка должна быть отдельным телом с массой и границами, а не выступом на общей стене. WorldSculpt - это надстройка над Pixal3D. Веса исходного генератора одиночных объектов заморожены, обучены только LoRA-адаптеры и слои, которые позволяют смотреть на предмет сразу с нескольких ракурсов. То, что скрыто на одном кадре, берётся с другого, поэтому модель не выдумывает закрытые части, а собирает их из реальных наблюдений. Модель должна знать, откуда и под каким углом снят каждый кадр, а ещё получить маски объектов и грубые 3D-боксы. Для этого нужно построить пайплайн: траекторию камеры восстановит COLMAP или VGGT, маски даст SAM3, и только после этих шагов запускается WorldSculpt. Авторы собрали свой набор тестовых сцен UE-MeshyScene, в самой плотной из них 701 объект. Качество меряют метрикой CD-ℓ2: она показывает, насколько сильно построенная поверхность расходится с настоящей, поэтому чем меньше число, тем точнее результат. У ближайшего конкурента ShapeR средняя ошибка составляет 7.42, у WorldSculpt 2.48. Медианная ошибка по объектам упала сильнее: с 2.47 до 0.25. Раз медиана улучшилась заметнее среднего, выигрыш дают не отдельные удачные предметы, а типичный объект в сцене. Доля правильно восстановленной поверхности (F-Score) выросла с 0.813 до 0.951. #Stateoftheart #Benchmark

🔥 Три разных человека. Три разных проекта. Один и тот же подход — Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес — Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска — Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяц Разные результаты. Разный масштаб. Но общие правила: 1. не придумывать «гениальную идею», а брать существующий спрос 2. делать простой MVP и быстро запускаться 3. докручивать монетизацию и продукт по факту использования Ребята сделали всё без команды, без инвестиций, а самое главное — без ожидания «идеального момента». Да, не у всех получается сразу. И не у всех выходит на $10K. Но если системно идти по схеме выше — появляется первый доход с продукта, а дальше уже есть что масштабировать. В комьюнити разбирают такие кейсы регулярно: @its_capitan. Что сработало, что нет, и почему.

🗣 VoiceMem: фреймворк памяти для голосовых ассистентов поднимает факты из всех прошлых диалогов за 134 мс Команда из Nanyang Technological University, NUS, Tsinghua и CUHK выпустила VoiceMem - быструю память для голосовых ассистентов, работающих в реальном времени. VoiceMem держит в двух параллельных графах всё, что ассистент узнал о пользователе: быт, здоровье, работу, отношения, цели и знания в одном, характер и эмоции в другом. К моменту, когда пользователь заканчивает фразу, нужный факт уже найден. Речевая модель не может держать в контексте всю историю общения, поэтому после каждого диалога отдельная LLM вытаскивает из него короткие утверждения и складывает их в базу по одной записи на утверждение: «я вегетарианец», «у меня аллергия на орехи», «сестру зовут Аня». Когда пользователь задаёт новый вопрос, из базы достаются несколько подходящих записей и дописываются в промпт обычным текстом, перед самим вопросом. Эти два графа авторы называют полушариями по аналогии с мозгом, где за факты и за эмоции отвечают разные зоны. Никакой нейробиологии внутри нет, это просто две отдельные структуры данных, которые наполняются и обновляются параллельно. Левое полушарие отвечает за факты и раскладывает их по темам: работа, здоровье, быт. Часть тем прописана в настройках до первого разговора, остальные VoiceMem заводит сам, когда замечает, что какие-то записи постоянно нужны вместе. Правое отвечает за характер и настроение пользователя и держит их в узлах двух типов. Одни описывают устойчивые черты, например «часто чувствует себя одиноко». Другие привязаны к конкретному человеку или событию, например «не любит еженедельные планёрки с Бобом». Полушария связаны, поэтому отношение к человеку или событию подтягивается вместе с фактами о нём. Без правого точность ответов падает на 6.3 пункта на LoCoMo. На бенчмарке долгосрочной памяти LoCoMo модель с VoiceMem отвечает правильно в 91.2% случаев, доставая пять записей общей длиной 430 токенов. Mem0, который работает у неё под капотом в роли хранилища, на тех же вопросах выдаёт 61.68% и тратит 6956 токенов, EverMemOS 83.13% при 1899 токенах. Эти записи подставляются в промпт на каждой реплике, поэтому их суммарная длина определяет и цену запроса, и то, сколько места в контексте остаётся под сам разговор. Поиск занимает 134 мс против 1440 мс у Mem0 и целиком помещается в паузу, которую и так выжидает детектор голосовой активности. Проект открыт под Apache 2.0: код, дообучение и скрипты оценки лежат на GitHub, веса и датасет - на Hugging Face. #Stateoftheart

4DAnyone: 4D-модель человека из видео, снятого одной камерой Исследователи из Zhejiang University, Robbyant, Ant Group и HKUST представили 4DAnyone - открытый фреймворк, который строит 4D-модель человека на основе видео, снятого с одной камеры. 4DAnyone генерирует 16 согласованных между собой ракурсов, а по ним уже собирается объёмная сцена в формате 4D Gaussian Splatting. Раньше для такого требовалась студия с десятками синхронных камер. Готовую модель человека можно смотреть с любой точки в VR-шлеме, вставлять в игру или AR-сцену, использовать как данные для обучения роботов движению. Наилучшие результаты достигаются при одном человеке в кадре, спокойном движении камеры и облегающей одежде. 3D-модель - это объект, который можно осмотреть со всех сторон, но застывший в одной позе. 4D-модель добавляет четвёртую ось - время. Cцена меняется от кадра к кадру, объект двигается, и при этом на каждый момент времени существует его полное объёмное представление. В основе фреймворка лежит видеодиффузионный трансформер Wan2.2-TI2V-5B, который дообучили генерировать новые ракурсы человека по 3D-скелету, сохраняя внешность из исходного видео. В скелете оставили 40 ключевых точек: 17 на теле, 6 на стопах, 10 на уровне ладоней и 7 вспомогательных. Детальную разметку лица и суставов пальцев отбросили: такие точки определяются неточно, и метод, следуя за ошибочным положением, выдаёт артефакты. Мимику и форму кистей он вместо этого берёт из исходного видео. По качеству реконструкции 4DAnyone обходит все сравниваемые методы: 24.15 PSNR против 20.55 у ближайшего конкурента на DNA-Rendering и 23.28 против 19.86 на DyMVHumans. Проект открытый: код опубликован на GitHub, веса - на Hugging Face. #Stateoftheart

JoyAI-Video-Edit: 16B-модель редактирует видео в реальном времени при 30 FPS в 720p на одной B200 Команда Joy Future Academy представила JoyAI-Video-Edit — открытую авторегрессионную диффузионную модель на 16B параметров для редактирования видео в реальном времени. Модель обрабатывает кадры по текстовому промпту по мере их поступления, без доступа к будущим кадрам и не зная длину ролика. Полный сквозной пайплайн выдаёт 30.19 FPS в разрешении 720×1280 на одной Nvidia B200. JoyAI-Video-Edit умеет менять фон, стиль (акварель, масло, мультфильм), добавлять, удалять и заменять объекты и людей в кадре, менять одежду и внешность, изменять движения персонажей и объектов. Отдельно поддерживается редактирование по референсной картинке, когда одежда или предмет с фотографии переносится на человека в видео. Всё это работает поверх исходного ролика, оставляя без изменений движения, композицию и те области видеопотока, которые менять не просили. Архитектура модели состоит из энкодера условий на базе MLLM, каузального видео-VAE и мультимодального диффузионного трансформера. Итеративный денойзинг сжат до двух шагов методом Source-Anchored DMD, который привязывает учителя к синхронному фрагменту исходного видео и не даёт картинке отходить от оригинала на длинных потоках. Результаты: на бенчмарке OpenVE-Bench модель набирает 3.60 балла против 2.62 у SANA-Streaming и 1.87 у XMax-X2.0, что сопоставимо по качеству с офлайн-редакторами Kling-3.0 Omni (3.64) и Bernini-R (3.72). На минутных видео из LongV2VBench — 3.30 против 1.71 у ближайшего конкурента. В попарной человеческой оценке JoyAI-Video-Edit выигрывает у потоковых редакторов в 81–90% случаев. Код инференса выложен на GitHub, веса - на Hugging Face под лицензией Apache 2.0. #Stateoftheart