Film XR / Creative XR / METAVERSE / Spatial Intellegence 🕘 история названий (1)

Опубликовали «Kitten Mormitten: Ask First» на Higgsfield Global Film Festival — 4,5-минутный AI-мультфильм по сказке моего отца, продолжение вот всей моей Mormo-вселенной (где был и VR в Каннах, и мультфильм на Unreal Engine, и VRChat мир, и 360 анимация в дистрибуции Альтаирики, и FullDome версия, а теперь и AI). Оригинал на английском, но и русскую озвучку (хотя и не самую удачную) уже сделали. В этой серии Гоша тайком берёт батарейку из ночника Юли, а Мормотик и собачка-фонарик Жужа ищут ей замену в мире Под Подушкой. Мы решили попробовать наши возможности с Владом и его командой MALEEWICH TEAM (подпишитесь кстати на его ТГ канал), так как мы с ним же и делали анимацию на Unreal в 2022-23-м когда это было модно! В этот раз решили поработать под дедлайн конкурса Higgsfield, потому что так хотя бы понятно, к чему стремиться. Что было интересно в процессе: — Сценарий писали через картинку. Каждый драфт сразу превращался в раскадровку и аниматик, и логические дыры, невидимые в тексте, находились за секунду. Формировались контакт-листы по 6 картинок, поэтому получалась неплохая консистентность между фазами. Драфтов сценария было 19. — Полная версия на 5:23 выходила дорогой: каждый шот — несколько видеогенераций, брак множит их. Резали целыми битами, а не секундами: убирали всё, что фильм сначала показывает, потом проговаривает, потом подтверждает. — Карточки персонажей, референсы комнаты и пр. собирали в ChatGPT Image 2.5 и NBP внутри Higgsfield Cinema Studio. Весь видеоряд — Seedance 2.5 в Higgsfield, весь звук — ElevenLabs: 54 реплики, 9 музыкальных тем, 223 эффекта. — Главный приём в промптах — запирать диалог. Иначе при продолжении клипа модель договаривает реплики из референса. Генераций и ошибок было много, токенов и живых денег потратили чуть больше чем на $1K, но, по сравнению со стоимостью первого пилота на Unreal (хотя там, конечно, оплачивалась и работа всех людей и технологии были другие), это в несколько раз (и даже десятков раз) меньше, мягко говоря. Команда: MALEEWICH TEAM / Film XR. Посмотреть целиком, проголосовать за нас в Audience Award и посмотреть промпты можно тут: https://higgsfield.ai/@ai_maleewich/projects/kitten-mormitten-ask-first

Довольно важную новость я почему-то пропустил: Uncanny Alley: A New Day получила Emmy в категории Outstanding Emerging Media Program. Первый приз у проекта VRChat (хотя мы когда-то имели хорошие шансы с OXYMORE, но недоработали с пиаром среди членов академии). Если что, это не совсем «VRChat получил Emmy». Премию получила конкретная работа Ferryman Collective и Virtual Worlds Company, а VRChat в данном случае — платформа, внутри которой она существует. Uncanny Alley — это live immersive theatre: зрители заходят в виртуальный мир небольшой группой, а актеры в реальном времени играют персонажей и взаимодействуют непосредственно с аудиторией. Два актера исполняют 15 ролей, действие проходит более чем в 30 виртуальных локациях. То есть это не VR-фильм, не обычная игра и не заранее записанный спектакль, а довольно странный гибрид театра, игры и социального VR. Проект впервые показали в конкурсе Venice Immersive еще в 2024 году, после чего он довольно долго развивался и гастролировал по фестивалям. И вот теперь получил вполне традиционную телевизионную премию. Как так получилось, что после многих лет разговоров о « смерти метаверса» Emmy получила не коммерческая дорогая брендированная активация и не очередной VR companion к большому IP, а относительно небольшая авторская постановка, созданная внутри существующего VRChat-мира – хороший вопрос. Возможно, среди голосующих академиков Эмми стало больше ценителей "доброго и хорошего". Кажется, слово metaverse успело почти умереть, а работы, ради которых все это вообще затевалось, только начинают нормально жить. Надеюсь, теперь они к этому соберут дополнительные сборы на представлениях. Как я понял из общения, готовится 360 видеоверсия спектакля и, возможно, даже вольюметрическая/motion-capture запись воспроизводимая. По крайней мере, "я бы так делал". Официальная страница Emmy: https://www.televisionacademy.com/shows/uncanny-alley-a-new-day Трейлер: https://www.youtube.com/watch?v=1pMIz2Mwo6I

И вот практическая новость с Meta Connect, которую легко было пропустить за анонсом новых VR-очков. Meta открыла новый VR Start Developer Competition с общим призовым фондом $1 миллион. Что особенно интересно: это не только конкурс игр. В этом году есть отдельное направление Entertainment, куда Meta напрямую относит: — spatial cinema; — interactive video; — immersive storytelling; — spatial audio; — music visualization; — media companion apps. Всего будет 20 денежных призов — от $20 000 до $100 000. Отдельно награждаются новые проекты и уже существующие работы, которые получат существенное обновление. То есть необязательно за восемь недель делать всё с нуля. Можно взять существующий VR-проект и добавить, например, полноценное управление руками, multiplayer, mixed reality mode или инструменты для user-generated content. Обычный bug fixing или небольшое обновление интерфейса значимым изменением не считается. Дедлайн — 18 ноября 2026 года, 12:00 PT, то есть 21:00 по Парижу. Но это всё-таки build competition, а не очередной фестивальный open call, куда можно отправить готовый VR-фильм. Главное требование — проект должен полностью проходиться без контроллеров, только с помощью рук. Meta также довольно честно формулирует, под какой сценарий сейчас проектируются новые VR Glasses: — seated experience без большого roomscale-перемещения; — быстрый запуск и нормальная пауза; — законченный интересный фрагмент длиной до десяти минут; — работа в пространстве примерно одного кресла. У них это называется airplane seat test и one bus stop test. По-моему, довольно точное описание того, как Meta теперь представляет массовое использование VR: сидя, без контроллеров и короткими сессиями. Можно делать на Unity, Unreal, Godot, Android или WebXR. Самих новых очков пока ни у кого нет, поэтому тестировать предлагают на Quest или в симуляторе. Для подачи нужны: — членство в бесплатной Meta VR Start Program; — работающий билд или WebXR-ссылка; — публичное видео до трёх минут; — описание проекта на английском. Для документальных проектов есть важная проблема: правила запрещают показывать или упоминать узнаваемых людей, кроме самих участников команды, а также использовать чужие бренды и логотипы. Поэтому просто адаптировать существующий документальный VR-проект может не получиться — сначала стоит запросить у организаторов разъяснение. Также не могут участвовать резиденты России и других территорий под комплексными санкциями, а отдельно исключены Бразилия и Квебек. Ограничение в правилах сформулировано по месту жительства или регистрации организации. Тем не менее это, кажется, пока самая конкретная возможность с Meta Connect именно для небольших XR-команд: понятные категории, восемь недель на разработку и реальные деньги — включая отдельные $100 000 за лучший новый и лучший обновлённый Entertainment-проект. Официальный анонс: https://developers.meta.com/blog/meta-connect-2026-vr-start-developer-competition/ Подача и полные правила: https://start-developer-competition-26.devpost.com/

Meta снова анонсировала VR-шлем. Хотя шлемом это уже сложно назвать. Meta VR Glasses — 100-граммовые VR-очки без ремней и контроллеров. Вся тяжелая часть — процессор Snapdragon Reality Elite, батарея и память — вынесена в отдельную коробочку-puck, которую нужно носить в кармане и соединять с очками кабелем. Внутри micro-OLED, 5K, 37 PPD, Dolby Vision / Atmos, управление глазами и руками и около трех часов работы. Продавать обещают весной 2027 года за $1299.99. Meta довольно неожиданно позиционирует очки в первую очередь как устройство для кино, spatial media и live-контента, а уже потом как очередную игровую Quest. Это первое VR-устройство с сертификацией IMAX Enhanced. Заявлены: — Disney+ с 3D-фильмами и тематическими виртуальными пространствами; — отдельное приложение Disney Immersive Cinema от ILM с VR Enhanced-версиями Star Wars и Marvel; — 3D-каталоги HBO Max, Paramount+, Prime Video, YouTube, Crunchyroll и других платформ; — 8K / 180° трансляции спорта и больше 100 immersive live events в год вместе с ESPN, MLB, NBC Sports, TNT Sports и UFC; — более 75 игр с полноценным управлением руками без контроллеров, включая новый hand-tracking режим Flux для Beat Saber. То есть Meta фактически собирает внутри одного устройства персональный кинотеатр, sports venue, spatial workspace и игровую платформу. При этом для независимых immersive-фильмов и авторских XR-проектов пока ничего конкретного не объявлено. Все названные маршруты дистрибуции — это большие закрытые партнёрства с Disney, IMAX, ESPN и стримингами. Можно ли будет попасть туда проекту без Disney за спиной — пока совершенно непонятно. Сегодня в 20:00 по Москве начинается Developer State of the Union. После него Meta выложит отдельные VR-сессии: — Building with the latest SDK updates for game engines — Build Android apps for VR — Building Immersive Experiences with Web / WebXR — A practical guide to controller-free interaction — Pick your path: a developer’s guide to building for Meta VR and AI glasses И ещё три сессии вокруг Horizon: — A new way to create on Meta Horizon — From publish to players: discovery and growth on Horizon — Community spotlight: Horizon Creator Program Для креаторов и продюсеров самыми полезными выглядят controller-free interaction, WebXR и особенно From publish to players — если там действительно расскажут, как Meta собирается решать проблему discovery, а не просто ещё раз посоветуют правильно оформить страницу в Store. Меня в этот раз звали смотреть Connect в Menlo Park, но я в итоге не доехал, поэтому сегодня буду смотреть онлайн вместе со всеми. После Developer State of the Union отдельно соберу то, что действительно касается производства, публикации и дистрибуции XR-контента. Трансляция сегодня в 19:00: https://www.youtube.com/watch?v=EwIIOgEzRJY Все VR-сессии: https://developers.meta.com/connect/ Подробности про Meta VR Glasses: https://about.fb.com/news/2026/09/introducing-meta-vr-glasses-3d-movies-immersive-live-sports-100-grams/

Последние полгода мы создаем Sim XR – систему удаленного VR-телеуправления роботами в симуляторах для того чтобы получать данные для их обучения и тренировки. По сути, с помощью экосистемы NVIDIA (от хорошо известного Cloud XR до набирающего популярность IsaacSim/Lab и Isaac Teleop), каждый владелец VR-хэдсета сможет "побыть роботом" в симуляторе, собрать демоданные по простым манипуляционным задачам и получить за это вознаграждение. Мы же эти данные передадим нашим клиентам, которым будут нужны те или иные скиллы. Проект набирает обороты, мы уже стали частью NVIDIA Inception Program и AWS Startups. Так что, надеюсь, все наши пылящиеся на полках (а иногда и совсем не пылящиеся) VR хэдсеты скоро смогут принести дополнительную пользу! Так что будем рады сотрудничать с лабораториями и командами, обучающими роботов, ведь мы можем собирать данные откуда угодно. А если вы хотите стать оператором - записывайтесь в waitlist у нас на сайте!

Venice Immersive — 10 лет, но без ретроспективы В этом году Venice Immersive проходит в десятый раз. Однако кураторы программы Лиз Розенталь и Мишель Рейяк решили не оглядываться на главные проекты прошлого десятилетия, а попробовать понять, каким будет следующее. Их основной тезис: заканчивается не эпоха immersive media, а только ее первая волна — во многом построенная вокруг VR-шлемов и экосистемы Meta. Следующий этап выглядит гораздо разнообразнее: connected XR glasses, mixed reality, большие multiplayer LBE-проекты, иммерсивные инсталляции и авторские миры в VRChat. При этом технология постепенно перестает быть главным аттракционом — на первый план выходят эмоциональная точность, драматургия и осмысленное присутствие зрителя. В программе этого года — 68 проектов из 26 стран: 30 работ в основном конкурсе, 35 проектов вне конкурса и три работы Biennale College Cinema – Immersive. Venice Immersive пройдет со 2 по 12 сентября на острове Lazzaretto Vecchio. Из программы отдельно хочется отметить LIBRARY OF DREAMS Жени Ржезниковой и Алины Михалевой-Савельевой — проект наших коллег, разработанный в рамках Biennale College Cinema – Immersive. Это 25-минутный VR-проект, исследующий сны людей, живущих в условиях политических репрессий: от нацистской Германии и СССР до современной России. Через сновидения авторы показывают, как страх и давление государства проникают в подсознание и повторяются в разных поколениях. В разделе Best of Worlds, посвященном авторским мирам VRChat, в этом году особенно приятно видеть сразу несколько проектов наших коллег. PATRIKI VR российского художника DrMorro — новый мир из серии *Moscow Trip*, виртуальная прогулка по Патриаршим прудам, одному из самых узнаваемых пространств старой Москвы. Vertical Horizon / 361 Degrees — метаверс-проект Inloco Gallery. Виртуальный мир вдохновлен работами известного тунисского каллиграфа и художника по свету Карима Джаббари. В его основе — представленный галереей в Дубае проект Vertical Horizon / 361 Degrees, посвященный теме утраченных традиций. Еще один выбранный мир — Memory художницы Леры Нибиру. Это сюрреалистическое и психоделическое пространство, объединяющее ее работы и художественное мировоззрение в единый виртуальный опыт — загадочный, интенсивный и немного тревожный, словно путешествие по детскому кошмару. Особенно здорово видеть эти работы среди 26 миров, отобранных для показа в Venice Immersive. Полное интервью с Лиз Розенталь и Мишелем Рейяком на XRMust: https://xrmust.com/xr-magazine/venice-immersive-10-years-liz-rosenthal-michel-reilhac/ Официальная программа Venice Immersive 2026: https://www.labiennale.org/en/news/venice-immersive-selection-and-competition-announced-0

Higgsfield выпустили первый State of AI Video Report — опрос 4 214 создателей из 125 стран плюс данные самой платформы. Отчет, конечно, не нейтральный: это исследование компании про собственный рынок и собственных пользователей. Но цифры там все равно интересные. Главный вывод для меня не в том, что «креаторы не боятся AI». Скорее, AI уже меняет экономику творческой работы. Около 85% активности на Higgsfield связано с коммерческими задачами. Клиенты начинают не просто разрешать AI, а ожидать его использования. При этом 32% авторов после серьезного внедрения AI стали брать больше, и только 15% снизили ставки. То есть пока выигрывают не те, кто научился делать дешевле, а те, кто научился делать больше, быстрее и предлагать то, что раньше не помещалось в бюджет. При этом 79% все еще считают, что сильная работа требует человеческого участия. И это, пожалуй, самая здравая часть отчета: производство все быстрее автоматизируется, а узким местом становятся идея, вкус и решение, что вообще стоит делать. На Higgsfield много ругаются из-за тарифов, кредитов и весьма условного unlimited. Но продукт они развивают очень агрессивно: постоянно добавляют новые модели, камеры, шаблоны и рабочие сценарии, выжимая максимум из нынешнего поколения AI-видео. Я очень осторожно отношусь к ним, особенно вокруг премьеры их полнометражого фильма сделанного целиком в AI, но говорят ок, такой базовый нормальный netflix-стайл боевичок. Судя по посту Александра Машрабова, все эти отчеты и исследования делаются для того, чтобы еще больше втянуть креаторов в работу в формате "ты промптом уже не кадр генерируешь, а задачу и у тебя AI студия сама раскадровку/видео/монтаж/звук/музыку, а ты только оркестрируешь. Подобный AI-агентский подход я вижу сейчас и в робототехнике, типа не "делайте все сами и перепроверяйте" а "ставьте AI задачу и наблюдайте". Так что интересно, конечно, в какой момент это все: а) начнет работать б) окажется что руками все-таки надежднее https://higgsfield.ai/blog/ai-video-report

Yandex опубликовал в оупенсорсе свой собственный плагин для работы с Gaussian Splatting в Unreal Engine (5.5 - 5.7) В оригинальном гите - исходный код, по которому вы можете собрать свою версию плагина и развивать его дальше, а я подготовил для вас готовые версии плагинов под Windowsю Последние два года я был продакт-лидом и консультантом R&D команды Фантеха Яндекса, в которой мы развивали использование GS для кино, VFX и других прикладных задач (теперь уже, в основном, для автономного транпсорта), мы опубликовали на Хабре большую статью о том, как Яндекс использует GS. Там и про съемку и сканирование людей для кино (с примером использования этого в сериале "Кибердеревня"), и примеры того, как мы сканировали локации для композа, и небольшие комментарии по необходимости использования GS в автономном транспорте! Один из приятных бонусов нашего плагина - возможность импорта SOG-скомпрессированных GS, что сильно разгружает память. В целом, все фишки плагина описаны в статье и на Гите! Приятного чтения, просмотра и использования GS!

360 Video to GS using Colmap 4.1.0 Caspar + Lichtfeld Studio 0.5.3 = done! While setting up a new GS pipeline for our SIM XR., tested recently released Colmap 4.1.0 with the support of equirectangular data, as well as an updated Lichtfeld Studio 0.5.3 by Janusch Patas for GS training. Thanks to amazing 360 video source 4k video fily of Matterhorn made by my colleagues at AirPano, we created a clean, floater-free reconstruction on Ubuntu L40s server powered by Amazon Web Services (AWS). Still have to optimize CUDA/GPU performance for equirectangular work, but overall - the result impressed me, as it was done from the first attempt! 10 mln splats, 50k steps from 1100 equirectangular frames. Feels quite promissing and curious to test it with SAM3 masking to remove the camera operators and obstacles, but definately a huge progress for 360 rendeiring without splitting the images to cubes. Experience as 3DGS - https://superspl.at/scene/7416aa0e

Так как Gaussian Splatting - одна из основных моих сфер специализации сейчас, провел эксперименты, переведя одну часть моей работы, 360 видео, в другую - Gaussian Splatting. Результат очень впечатляющий, а, главное, сейчас это можно делать без "костылей" по раскладыванию 360 на кубики и процессингу в 6 раз больше кадров