Tensordyne Napier – hệ thống suy luận AI dùng toán logarit

Tensordyne bán hệ thống suy luận AI cho trung tâm dữ liệu, có văn phòng tại Sunnyvale, California và Munich, Đức. Hãng nhắm tới đơn vị vận hành muốn thêm token hoặc doanh thu trong một ngưỡng điện năng cố định; công nghệ lõi là toán logarit áp dụng cho mô hình transformer.

Napier gồm bộ xử lý TDN AIP 3nm, pod TDN72 72 chip làm mát bằng không khí (bốn pod tạo thành một TDN Rack) và kết nối NapierLink có độ trễ dưới 1.000 ns, băng thông 1 TB/s mọi điểm tới mọi điểm. Phần mềm gồm eDSL kiểu Python, kho mô hình Hugging Face và lượng tử hóa logarit; chương trình beta mở theo đăng ký.

• Bộ xử lý Napier: TDN AIP 3nm với Universal Inference Engine, HBM và SRAM.
• Thiết kế pod và rack: pod TDN72 72 chip làm mát bằng không khí, bốn pod mỗi TDN Rack.
• NapierLink: độ trễ dưới 1.000 ns và băng thông 1 TB/s mọi điểm tới mọi điểm.
• Toán logarit: thay phép nhân bằng phép cộng để giảm điện năng và diện tích die.
• Ngăn xếp phần mềm: eDSL kiểu Torch, kho mô hình Hugging Face tuyển chọn, tự cân bằng tải và mở rộng.
• Chế độ suy luận: chuẩn và phân tách, chuyển bằng phần mềm không cần thêm phần cứng.

Nhà vận hành đám mây ở Đông Nam Á có thể cung cấp dịch vụ LLM cho doanh nghiệp trong phòng máy làm mát bằng không khí. Doanh nghiệp chạy suy luận mô hình MoE tại chỗ có thể giảm diện tích và điện năng. Nhà cung cấp mô hình có thể phục vụ tác vụ agentic ngữ cảnh dài với tốc độ cao cho từng người dùng.

Đơn vị vận hành trung tâm dữ liệu có thể tăng số token trên mỗi megawatt trong cơ sở làm mát bằng không khí sẵn có. Hãng nêu 13 lần token mỗi giây trên rack và 17 lần token mỗi MW so với Nvidia NVL72 GB300 trên DeepSeek-R1, dựa trên mô phỏng nội bộ. Chế độ suy luận chuẩn và phân tách chuyển bằng phần mềm; hỗ trợ mô hình Mixture of Experts tới 10 nghìn tỷ tham số.

Chi phí và điện năng cho suy luận đang chiếm phần lớn chi tiêu hạ tầng AI khi tác vụ agentic và Mixture of Experts tăng. Trung tâm dữ liệu bị giới hạn điện tìm cách tăng token trên mỗi watt mà không cần làm mát bằng chất lỏng. Các nhà vận hành đám mây và AI chủ quyền ở Đông Nam Á đang mở rộng công suất và có thể xem xét lựa chọn thay thế rack GPU.

Văn phòng tại Sunnyvale, California và Munich, Đức. Đối tác công nghệ nêu trên trang gồm Broadcom, TSMC và Juniper Networks. Chip Scorpio thế hệ đầu tape-out năm 2021, còn Napier đang chuyển sang sản xuất khối lượng lớn tại TSMC. SDK ghi là sắp ra mắt và chưa công bố giá.