FuriosaAI RNGD – bộ tăng tốc suy luận AI và máy chủ NXT RNGD

FuriosaAI là công ty chip AI Hàn Quốc thành lập năm 2017, địa chỉ tại quận Gangnam, Seoul, có văn phòng ở Thung lũng Silicon và Lisbon. Công ty thiết kế bộ tăng tốc suy luận cho trung tâm dữ liệu, hướng tới hiệu năng chạy mô hình ngôn ngữ lớn với điện năng thấp hơn nhiều so với GPU, để doanh nghiệp chạy AI trong cơ sở làm mát bằng không khí thông thường.

RNGD dùng kiến trúc Tensor Contraction Processor trên tiến trình TSMC 5nm, đạt 512 TFLOPS FP8, 48GB HBM3 băng thông 1,5 TB/s và 256MB SRAM trên chip, công suất thiết kế 180W trên card PCIe Gen5. Máy chủ NXT RNGD gộp tối đa tám card trong thiết bị khoảng 3kW cho AI tác tử. Bộ Furiosa SDK đưa mô hình PyTorch qua lượng tử hoá đến phục vụ suy luận, tích hợp với Kubernetes và cung cấp endpoint tương thích OpenAI. Người dùng gồm LG AI Research cho các mô hình EXAONE, Upstage và Samsung SDS.

• Tensor Contraction Processor: kiến trúc 5nm đạt 512 TFLOPS FP8 với công suất thiết kế 180W.
• Bộ nhớ băng thông cao: 48GB HBM3 tốc độ 1,5 TB/s cùng 256MB SRAM trên chip.
• Máy chủ NXT RNGD: tối đa tám card RNGD trong thiết bị khoảng 3kW cho tác vụ AI tác tử.
• Furiosa SDK: quy trình từ mô hình PyTorch qua lượng tử hoá đến phục vụ và triển khai.
• Tích hợp đám mây: hỗ trợ Kubernetes và endpoint API tương thích OpenAI.
• Mô hình đã kiểm chứng: các mô hình EXAONE tới 236 tỷ tham số trên bốn card và Qwen3-32B.

Nhà cung cấp đám mây hoặc trung tâm dữ liệu tại Việt Nam có thể cung cấp dịch vụ suy luận LLM tiết kiệm điện trên máy chủ NXT RNGD trong phòng làm mát bằng không khí. Doanh nghiệp lớn hoặc ngân hàng có thể chạy LLM tiếng Việt tại chỗ cho trợ lý nội bộ. Startup AI có thể phục vụ mô hình mở qua endpoint tương thích OpenAI với chi phí điện thấp hơn.

Công ty cho biết RNGD tạo ra số token trên mỗi kilowatt cao tới gấp đôi so với NVIDIA RTX PRO 6000 khi chạy Qwen3-32B dạng FP8, theo phép đo của chính hãng. LG AI Research ghi nhận hiệu suất điện năng tốt hơn 2,3 lần so với A100 với các mô hình EXAONE. Thiết kế 180W làm mát bằng không khí cho phép bổ sung năng lực suy luận mà không cần làm mát bằng chất lỏng. Tích hợp Kubernetes và API tương thích OpenAI giúp chuyển đổi hệ thống phục vụ suy luận sẵn có dễ dàng hơn.

Suy luận hiện chiếm phần lớn nhu cầu điện toán AI, và nguồn điện cho trung tâm dữ liệu trở thành ràng buộc chính. Các nhà vận hành tìm giải pháp thay GPU để giảm năng lượng trên mỗi token và phù hợp tủ rack làm mát bằng không khí sẵn có. Sự tăng trưởng trung tâm dữ liệu ở Đông Nam Á, gồm Việt Nam, cùng các sáng kiến AI chủ quyền tạo nhu cầu phần cứng suy luận hiệu quả; công ty có nêu việc lập trung tâm tại Singapore để mở rộng ra châu Á – Thái Bình Dương.

Thành lập năm 2017; trụ sở tại quận Gangnam, Seoul, có văn phòng ở Thung lũng Silicon, Lisbon và trung tâm tại Singapore cho khu vực châu Á – Thái Bình Dương. Đã gọi hơn 250 triệu USD qua vòng Series C Bridge. Đối tác gồm TSMC, SK hynix, ASUS, GUC, Broadcom và Equinix.