PixVerse-R1: Mô hình thế giới thời gian thực thế hệ tiếp theo

Tóm tắt

Chúng tôi giới thiệu PixVerse-R1, một mô hình thế giới thời gian thực thế hệ tiếp theo được kiến trúc trên một mô hình nền tảng đa phương thức gốc. Hệ thống này cho phép tạo video theo thời gian thực, trong đó nội dung hình ảnh phản hồi tức thì và mượt mà với đầu vào của người dùng. Bằng cách vượt qua độ trễ nội tại và ràng buộc độ dài cố định của các quy trình video truyền thống, PixVerse-R1 biến việc tạo video thành một luồng hình ảnh vô hạn, liên tục và tương tác. Đây là một bước tiến đáng kể trong việc tạo ra, trải nghiệm và chia sẻ phương tiện nghe nhìn, đánh dấu sự chuyển đổi mô hình hướng tới phương tiện thông minh, tương tác, có khả năng thích ứng tức thì dựa trên ý định của người dùng.

Sẵn sàng trải nghiệm R1? Xem thông báo ra mắt PixVerse R1 của chúng tôi để biết thông tin thực tế và cách lấy mã mời để truy cập R1.

1. Giới thiệu

Bối cảnh phương tiện số đang chuyển dịch căn bản từ nội dung tĩnh, được render trước sang các trải nghiệm động, tương tác. Các pipeline sản xuất thông thường từ trước đến nay bị ràng buộc bởi độ trễ cao và các clip có độ dài cố định, tạo ra sự phân đôi giữa sáng tạo nội dung và tiêu dùng thời gian thực.

Để giải quyết những hạn chế này, chúng tôi giới thiệu một kiến trúc mô hình thế giới mới, thống nhất một mô hình nền tảng đa phương thức gốc, một cơ chế tự hồi quy về tính nhất quán, và một engine phản hồi tức thì. Cách tiếp cận thống nhất này cho phép xử lý chung các patch không–thời gian cùng với dữ liệu văn bản và âm thanh, thực sự phá bỏ các silo xử lý phương tiện truyền thống. Bằng cách triển khai một hệ thống có khả năng streaming vô hạn thông qua cơ chế tự hồi quy và engine phản hồi tức thì, thế giới được tạo ra vẫn nhất quán về mặt vật lý trên các tầm xa dài với chi phí tính toán thấp.

Năng lực chính: Nhờ kiến trúc này, hệ thống của chúng tôi đạt một bước đột phá về hiệu năng, tạo video độ phân giải cao lên tới 1080P theo thời gian thực. Năng lực này nâng cao độ trung thực hình ảnh và mở ra game thuần AI cùng điện ảnh tương tác, nơi môi trường và mạch truyện tiến hóa động để đáp lại tương tác của người dùng. Ở phạm vi rộng hơn, điều này cho phép các hệ thống tạo sinh hoạt động như những thế giới tương tác bền vững thay vì các hiện vật phương tiện hữu hạn, cho thấy một quỹ đạo hướng tới các mô phỏng nghe nhìn liên tục, có trạng thái và tương tác.

2. Kiến trúc kỹ thuật

2.1 Omni: Mô hình nền tảng đa phương thức gốc

Để đạt các năng lực tổng quát, chúng tôi vượt qua các pipeline tạo sinh truyền thống bằng cách thiết kế một Mô hình nền tảng đa phương thức gốc hoàn toàn từ đầu đến cuối.

• Biểu diễn thống nhất: Mô hình Omni hợp nhất các phương thức đa dạng (văn bản, hình ảnh, video, âm thanh) thành một dòng token liên tục, cho phép nó nhận các đầu vào đa phương thức tùy ý trong một khung duy nhất.
• Huấn luyện từ đầu đến cuối: Toàn bộ kiến trúc được huấn luyện trên các tác vụ không đồng nhất mà không có giao diện trung gian, ngăn lan truyền lỗi và bảo đảm khả năng mở rộng vững chắc.
• Độ phân giải gốc: Chúng tôi dùng huấn luyện độ phân giải gốc trong khung này để tránh các hiện vật thường gắn với việc cắt hoặc đổi kích thước.

Hơn nữa, mô hình nội hóa các định luật vật lý và động lực học nội tại của thế giới thực bằng cách học từ một kho dữ liệu video thế giới thực khổng lồ. Hiểu biết nền tảng này trao cho hệ thống khả năng tổng hợp một “thế giới song song” nhất quán, phản hồi theo thời gian thực.

Mô hình Omni mở rộng hiệu quả, không chỉ hoạt động như một engine tạo sinh, mà còn là một bước tiên phong hướng tới việc xây các bộ mô phỏng đa năng của thế giới vật lý. Bằng cách coi tác vụ mô phỏng là một mô hình tạo sinh duy nhất, từ đầu đến cuối, chúng tôi tạo điều kiện khám phá các thế giới do AI tạo theo thời gian thực, tầm xa dài.

Hình 1. Kiến trúc từ đầu đến cuối của Mô hình nền tảng đa phương thức gốc Omni của chúng tôi; thiết kế thống nhất cho phép mô hình Omni nhận các đầu vào đa phương thức tùy ý và tạo âm thanh cùng video cùng lúc.

2.2 Bộ nhớ: Streaming vô hạn nhất quán qua cơ chế tự hồi quy

Khác với các phương pháp diffusion tiêu chuẩn bị giới hạn ở các clip hữu hạn, PixVerse-R1 tích hợp mô hình hóa tự hồi quy để cho phép streaming hình ảnh vô hạn, liên tục, và đưa vào một cơ chế attention tăng cường bộ nhớ để bảo đảm thế giới được tạo ra vẫn nhất quán về mặt vật lý trên các tầm xa dài.

• Streaming vô hạn: Bằng cách định dạng tổng hợp video như một quá trình tự hồi quy, mô hình dự đoán tuần tự các khung hình tiếp theo để đạt streaming hình ảnh liên tục, không giới hạn.
• Nhất quán thời gian: Một cơ chế attention tăng cường bộ nhớ điều kiện hóa việc tạo khung hình hiện tại dựa trên các biểu diễn tiềm ẩn của ngữ cảnh trước đó, bảo đảm thế giới vẫn nhất quán về mặt vật lý trên các tầm xa dài.

Hình 2. Mô hình hóa tự hồi quy tích hợp với mô hình nền tảng Omni.

2.3 1080P thời gian thực: Engine phản hồi tức thì

Dù khử nhiễu lặp thường bảo đảm chất lượng cao, mật độ tính toán của nó thường cản trở hiệu năng thời gian thực. Để giải quyết điều này và đạt tạo sinh thời gian thực ở độ phân giải cao (lên tới 1080P), chúng tôi kiến trúc lại pipeline thành một Instantaneous Response Engine.

IRE tối ưu quá trình lấy mẫu thông qua các tiến bộ sau:

• Gấp quỹ đạo thời gian: Bằng cách triển khai Direct Transport Mapping như một prior cấu trúc, mạng dự đoán trực tiếp phân phối dữ liệu sạch. Điều này giảm số bước lấy mẫu từ hàng chục xuống chỉ còn 1–4, tạo một đường đi tinh gọn, thiết yếu cho độ trễ cực thấp.
• Hiệu chỉnh guidance: Chúng tôi bỏ qua chi phí lấy mẫu của Classifier-Free Guidance bằng cách gộp các gradient có điều kiện vào mô hình học viên.
• Attention thưa thích ứng: Cơ chế này giảm dư thừa phụ thuộc tầm xa, cho một đồ thị tính toán cô đặc, tiếp tục hỗ trợ hiện thực hóa tạo sinh 1080P thời gian thực.

Hình 3. Engine phản hồi tức thì gồm ba mô-đun: gấp quỹ đạo thời gian, hiệu chỉnh guidance và học attention thưa thích ứng.

3. Ứng dụng và tác động xã hội

PixVerse-R1 giới thiệu một phương tiện tạo sinh mới: các hệ thống nghe nhìn thời gian thực, liên tục và có trạng thái. Khác với video được render trước, phương tiện này vận hành như một quá trình bền vững phản hồi tức thì với ý định của người dùng, nơi tạo sinh và tương tác gắn chặt với nhau. Phương tiện mới này mở ra một lớp rộng các hệ thống tương tác, bao gồm nhưng không giới hạn ở:

• Phương tiện tương tác

  • Trò chơi thuần AI và trải nghiệm điện ảnh tương tác
  • VR/XR thời gian thực và các mô phỏng nhập vai

• Hệ thống sáng tạo và giáo dục

  • Nghệ thuật phương tiện thích ứng và các sắp đặt tương tác
  • Môi trường học tập và đào tạo thời gian thực

• Mô phỏng và lập kế hoạch

  • Nghiên cứu thực nghiệm và khám phá kịch bản
  • Mô phỏng công nghiệp, nông nghiệp và sinh thái

Ngoài các ứng dụng cụ thể, PixVerse-R1 hoạt động như một bộ mô phỏng thế giới nghe nhìn liên tục, rút ngắn khoảng cách giữa ý định của con người và phản hồi của hệ thống, đồng thời mở ra các hình thức đồng sáng tạo người–AI mới trong các môi trường số bền vững.

4. Kết luận

PixVerse-R1 giới thiệu một khung tạo sinh thời gian thực vượt qua những hạn chế vốn có của các quy trình video truyền thống nhờ các đổi mới kiến trúc trong xử lý đa phương thức và phản hồi tức thì. Bằng cách cho phép tạo sinh nhất quán, theo thời gian thực, mô hình này đánh dấu một bước tiến đáng kể trong việc tạo ra và trải nghiệm phương tiện nghe nhìn. Sự dịch chuyển sang độ trễ thời gian thực cho phép chuyển từ tiêu dùng nội dung tĩnh sang tương tác với môi trường động, cung cấp một nền tảng tính toán có thể mở rộng cho các ứng dụng từ game thuần AI đến các mô phỏng công nghiệp phức tạp. Bằng cách thu hẹp khoảng cách giữa ý định của người dùng và phản hồi hình ảnh tức thì, hệ thống thiết lập một biên giới mới cho mô hình hóa thế giới tương tác và các môi trường cộng tác người–AI.

5. Hạn chế

Dù PixVerse-R1 mang lại những lợi thế mô hình hóa đáng kể, hai ràng buộc chính vẫn tồn tại liên quan đến độ chính xác thời gian và độ trung thực vật lý:

• Tích lũy lỗi thời gian: Trên các chuỗi kéo dài, các lỗi dự đoán nhỏ có thể tích lũy, có khả năng làm suy giảm tính toàn vẹn cấu trúc của mô phỏng.
• Đánh đổi vật lý và tính toán: Để đạt được tạo sinh thời gian thực, một số hy sinh cụ thể đã được thực hiện về độ phức tạp tạo sinh. Do đó, có thể có một mức độ mất mát nhất định trong việc kết xuất chính xác một số định luật vật lý so với các mô hình không thời gian thực.