Blog

PixVerse R1: kiến trúc và tầm nhìn đằng sau mô hình thế giới thời gian thực thế hệ tiếp theo

5 phút đọc
Cập nhật lần cuối vào
PixVerse R1: kiến trúc và tầm nhìn đằng sau mô hình thế giới thời gian thực thế hệ tiếp theo

PixVerse R1 là mô hình thế giới thời gian thực đầu tiên được triển khai sản xuất — một hệ thống tạo video tương tác, liên tục thay vì các clip rời. Bài viết này xem xét kiến trúc kỹ thuật khiến R1 khả thi, triết lý thiết kế đằng sau quá trình phát triển, và cách mô hình trưởng thành kể từ lần phát hành đầu.

Bài toán R1 giải quyết

Tạo video AI tiêu chuẩn theo mẫu yêu cầu–phản hồi: gửi prompt, chờ xử lý, nhận một clip tĩnh. Quy trình này tạo ra những đầu ra đơn lẻ ấn tượng, nhưng áp đặt một giới hạn căn bản: nội dung được tạo là trơ. Bạn xem nó; bạn không sống trong nó.

R1 được thiết kế từ gốc để loại bỏ giới hạn này. Thay vì tạo một tệp video hữu hạn, R1 tạo một luồng hình ảnh tương tác, bền vững — một thế giới tồn tại và tiến hóa theo đầu vào người dùng, theo thời gian thực.

Đây không phải là một cải tiến tăng dần cho việc tạo clip. Đây là một bài toán tính toán khác, với những yêu cầu kiến trúc khác, và nó đòi hỏi một cách đánh giá chất lượng khác. Độ trung thực với prompt và độ hoàn thiện của từng clip vẫn quan trọng với video dùng một lần, nhưng một mô hình thế giới được đánh giá dựa trên độ trễ, bộ nhớ, và mức độ nó giữ được sự liền mạch xuyên suốt một phiên dài.

Kiến trúc ba thành phần

Kiến trúc của R1 gồm ba hệ thống liên kết với nhau, mỗi hệ thống giải quyết một thách thức cụ thể trong việc tạo thế giới theo thời gian thực:

1. Mô hình nền tảng Omni

Nền tảng của R1 là một mô hình đa phương thức thuần Omni xử lý dữ liệu hình ảnh, âm thanh và tương tác trong một kiến trúc thống nhất. Khác với các cách tiếp cận dạng pipeline đưa từng phương thức qua các mô hình riêng rồi mới ghép đầu ra sau đó, Omni Foundation xử lý suy luận xuyên phương thức ngay bên trong, coi văn bản, hình ảnh, video và âm thanh là một dòng token liên tục, thay vì bốn công việc tách rời được khâu lại với nhau.

Cách xử lý thống nhất này là điều kiện cần cho hiệu năng thời gian thực. Pipeline nhiều mô hình tạo ra độ trễ tại mỗi điểm chuyển giao, và mỗi lần chuyển giao cũng là nơi lỗi có thể len vào khi thông tin được dịch giữa các hệ thống. Khi yêu cầu là thời gian phản hồi dưới một giây, những mili giây ấy cộng dồn thành độ trễ có thể nhận thấy, và tổn thất khi dịch cộng dồn thành các hiện vật nhìn thấy được. Huấn luyện Omni Foundation từ đầu đến cuối, trên dữ liệu độ phân giải gốc thay vì đầu vào bị cắt hoặc đổi kích thước, loại bỏ cả hai vấn đề ngay từ nguồn: không còn độ trễ giữa các mô hình cần loại bỏ, và không còn đường nối nơi giả định của mô hình này va chạm với mô hình kia.

2. Cơ chế tự hồi quy tăng cường bộ nhớ

Tạo thế giới theo thời gian thực đòi hỏi hệ thống nhớ những gì nó đã tạo ra. Nếu người dùng nhìn sang trái, khám phá một căn phòng, rồi lại nhìn sang phải, nội dung đã tạo trước đó vẫn phải ở đó — nhất quán với những gì được kết xuất vài khoảnh khắc trước, chứ không bị tạo lại một cách lặng lẽ thành thứ hơi khác.

Cơ chế attention tăng cường bộ nhớ của R1 duy trì trạng thái môi trường xuyên suốt dòng thời gian tạo sinh. Việc này được triển khai như một quá trình tự hồi quy: mỗi khung hình mới được điều kiện hóa không chỉ bởi đầu vào hiện tại mà còn bởi bộ nhớ tích lũy của toàn bộ nội dung đã tạo trước đó, thay vì được lấy mẫu như một sự kiện độc lập theo cách của một clip đơn lẻ.

Kết quả là tính mạch lạc tầm xa — thế giới được tạo ra vẫn tự nhất quán trong các phiên kéo dài, ngay cả khi người dùng khám phá, tương tác và quay lại những vùng đã tạo trước đó. Đây cũng là bài toán nghiên cứu mở khó nhất trong lĩnh vực này: các công trình độc lập về mô hình thế giới video tương tác đã chỉ ra lỗi dự đoán cộng dồn và bộ nhớ không đủ là những trở ngại trung tâm đối với tạo sinh tương tác chạy dài, và thiết kế bộ nhớ của R1 được xây dựng trực tiếp xoay quanh chế độ thất bại đó chứ không phải đi vòng quanh nó.

3. Engine phản hồi tức thì

Thành phần đòi hỏi kỹ thuật cao nhất. Các mô hình diffusion tiêu chuẩn cần hàng chục bước lấy mẫu để tạo ra một khung hình — quá chậm cho tương tác thời gian thực. Instantaneous Response Engine của R1 giảm việc này xuống còn một số ít bước lấy mẫu mỗi khung hình thông qua ba kỹ thuật phối hợp:

  • Gấp quỹ đạo thời gian nén quá trình diffusion bằng cách khai thác tính dư thừa thời gian: các khung hình liên tiếp trong một luồng video liên tục chia sẻ một lượng lớn nội dung hình ảnh. Thay vì tạo từng khung hình từ đầu, engine dùng một prior cấu trúc — thực chất là một ánh xạ hướng tới phân phối đầu ra sạch — để trạng thái của khung hình trước đảm nhận phần lớn công việc, cắt giảm mạnh số bước lấy mẫu mới cần thiết.
  • Hiệu chỉnh guidance gấp hiệu ứng của classifier-free guidance trực tiếp vào chính mô hình tạo sinh, nên hệ thống không phải chạy một lượt guidance riêng trên mỗi bước lấy mẫu.
  • Attention thưa thích ứng loại bỏ các phụ thuộc tầm xa dư thừa trong phép tính attention, giữ đồ thị tính toán nhẹ hơn khi phiên tiếp tục chạy, thay vì để nó nặng dần theo từng khung hình ngữ cảnh bổ sung.

Cách tiếp cận này đánh đổi một chút độ mới lạ hình ảnh trên mỗi khung để đổi lấy mức tăng rất lớn về tốc độ tạo sinh — đúng là sự đánh đổi phù hợp cho tương tác thời gian thực, nơi độ mượt theo thời gian quan trọng hơn mức độ một khung hình đơn lẻ khác với khung ngay trước nó.

Các đánh đổi trong thiết kế

Kiến trúc của R1 bao gồm những đánh đổi có chủ đích, phản ánh các ưu tiên thời gian thực của nó:

Tích lũy lỗi — tạo sinh tự hồi quy tích lũy những lỗi nhỏ theo thời gian. Mỗi khung hình được xây trên khung trước, và những khiếm khuyết có thể cộng dồn. R1 giảm thiểu điều này bằng các cơ chế hiệu chỉnh định kỳ trong hệ thống bộ nhớ, nhưng các phiên kéo dài vẫn có thể cho thấy sự trôi dần về độ bền của đối tượng hoặc cấu trúc cảnh so với tạo sinh không tự hồi quy.

Trần độ phân giải — ràng buộc thời gian thực đặt ra các giới hạn độ phân giải thực tế. Độ phân giải cao hơn đòi hỏi nhiều tính toán hơn trên mỗi khung hình, và điều đó đẩy trực tiếp vào ngân sách tạo sinh thời gian thực. Kiến trúc nghiên cứu ban đầu của R1 nhắm 1080p thời gian thực làm trần cho đánh đổi này; độ phân giải thực sự có trên một bề mặt nhất định vẫn phụ thuộc vào đường truy cập, vì trải nghiệm web, một phiên thế giới dùng chung và một endpoint API đối tác có thể mỗi nơi công bố một giới hạn khác nhau. Ai đang lên kế hoạch tích hợp sản xuất nên đối chiếu các con số hiện tại với sản phẩm đang chạy, thay vì coi một con số là cố định trên mọi bề mặt.

Đa dạng so với nhất quán — việc gấp quỹ đạo thời gian giúp tăng tốc cũng có nghĩa các khung hình liên tiếp tương quan về mặt hình ảnh mạnh hơn so với tạo sinh tiêu chuẩn. Đây là hành vi mong muốn của một thế giới bền vững (bạn muốn sự nhất quán), nhưng điều đó có nghĩa R1 tạo ra ít biến thể hình ảnh hơn trên mỗi đơn vị tạo sinh so với mô hình dựa trên clip.

Những đánh đổi này là lựa chọn kỹ thuật, không phải giới hạn. R1 tối ưu cho một hàm mục tiêu khác với các mô hình tạo clip, và thiết kế của nó phản ánh chính xác ưu tiên đó.

R1 đứng ở đâu bên cạnh V6 và C1

PixVerse hiện bao phủ hai công việc sáng tạo khác nhau, và đáng để nói rõ mô hình nào trả lời câu hỏi nào. Nếu sản phẩm bàn giao là một tệp — một clip mạng xã hội, một video sản phẩm, một cảnh điện ảnh, một bản xuất image-to-video — thì PixVerse V6 và PixVerse C1 được xây cho quy trình đó, với khả năng kiểm soát ở mức prompt và mức cảnh hướng tới một kết quả hoàn chỉnh, có thể tải về. Nếu sản phẩm bàn giao là một trải nghiệm tiếp tục phản hồi sau khi quá trình tạo bắt đầu — một trò chơi, một lớp livestream, một cảnh XR, một không gian nhiều người dùng dùng chung — đó là lãnh địa của R1, và ép một mô hình dựa trên clip vào vai trò đó là bỏ lỡ ý nghĩa của mô hình thế giới.

Một cách đơn giản để giữ sự phân biệt: chọn V6 hoặc C1 khi bạn cần thứ gì đó để xuất ra; đánh giá R1 khi bạn cần thứ gì đó tiếp tục chạy.

Ứng dụng

Kiến trúc của R1 mở ra một nhóm ứng dụng mà các mô hình dựa trên clip về cơ bản không thể phục vụ:

  • Giải trí tương tác — trò chơi thuần AI, điện ảnh tương tác, và các mạch truyện được tạo theo thời gian thực khi người chơi đưa ra lựa chọn
  • Đào tạo và mô phỏng — môi trường dựa trên kịch bản nhập vai được tạo theo yêu cầu, bao gồm mô phỏng công nghiệp, nông nghiệp và sinh thái
  • Nội dung trực tiếp và thế giới dùng chung — trải nghiệm streaming thích ứng với đầu vào của khán giả, và môi trường nhiều người dùng nơi những người tham gia tương tác trong cùng một không gian được tạo ra
  • Khám phá sáng tạo và giáo dục — tạo thế giới mở cho nghệ sĩ và nhà thiết kế, cùng các môi trường học tập và đào tạo thích ứng

Đánh giá R1 một cách thẳng thắn

Vì mô hình thế giới vẫn là một hạng mục đang hình thành, đáng để nêu các lưu ý thực tế song song với năng lực: phiên dài vẫn có thể trôi, độ trung thực vật lý được đánh đổi lấy tốc độ theo thiết kế, và độ phân giải cùng tính năng sẵn có thay đổi theo đường truy cập (trải nghiệm web so với API đối tác). So sánh benchmark với các mô hình thế giới khác chỉ có ý nghĩa khi tính đến độ dài phiên, loại tương tác và độ phân giải — chứ không chỉ một con số tiêu đề duy nhất.

Hướng tới tương lai

R1 là bước đầu tiên trong một hướng nghiên cứu mà PixVerse tin sẽ định hình kỷ nguyên tiếp theo của nội dung do AI tạo ra. Kể từ lần ra mắt ban đầu, mô hình đã đi từ một kiến trúc nghiên cứu sang trải nghiệm web đang chạy, một lộ trình đối tác và API, cùng các tính năng thế giới dùng chung được mở rộng — bằng chứng cho thấy hướng đi này đang được xây tiếp chứ không bị để lại như một bản demo một lần. Khi hiệu quả tính toán được cải thiện và các đổi mới kiến trúc tiếp tục, chất lượng, độ phân giải và độ phức tạp của các thế giới được tạo theo thời gian thực sẽ tăng lên — có khả năng tiệm cận độ trung thực của nội dung render trước, trong khi vẫn giữ tương tác thời gian thực.

Bước chuyển từ “AI tạo nội dung để bạn xem” sang “AI tạo thế giới để bạn sống trong đó” đang diễn ra. R1 là nơi nó bắt đầu.

Tài nguyên liên quan

→ Trải nghiệm R1 trên PixVerse