Neuchips Viper – card suy luận LLM tại chỗ

Neuchips Corporation là công ty thiết kế ASIC AI của Đài Loan hoạt động từ năm 2019, trụ sở tại Zhubei, huyện Tân Trúc, có văn phòng ở Đài Bắc và Thung lũng Silicon. Sau bộ tăng tốc gợi ý RecAccel, công ty chuyển sang AI tạo sinh, giúp doanh nghiệp chạy mô hình ngôn ngữ lớn ngoại tuyến với công suất thấp thay vì phụ thuộc GPU đám mây.

Viper Series là card PCIe nửa chiều cao, nửa chiều dài, một khe cắm, dùng chip suy luận LLM Raptor N3000 tiến trình 7nm. Card có 64GB bộ nhớ LPDDR5, công suất mặc định 45W và chạy được mô hình tới 14 tỷ tham số trên một card, gồm Llama, Mistral, Gemma, Phi, Qwen, TAIDE và các mô hình chưng cất DeepSeek. Bộ SDK với trình biên dịch, phần mở rộng PyTorch và lượng tử hoá FFP8 hỗ trợ RAG tại chỗ, phân tích tài liệu, chăm sóc khách hàng và quản lý tri thức. Các đối tác như Vecow, ShareGuru và Netiotek xây dựng máy trạm và giải pháp doanh nghiệp trên nền card này.

• Chip Raptor N3000: chip suy luận LLM tiến trình 7nm cho AI tạo sinh công suất thấp.
• Card PCIe nhỏ gọn: nửa chiều cao, nửa chiều dài, một khe cắm, tản nhiệt chủ động hoặc thụ động.
• Bộ nhớ lớn: 64GB LPDDR5 tốc độ 6400 Mbps cho mô hình và cơ sở dữ liệu vector.
• Công suất tùy chỉnh: từ 25W đến 75W, mặc định 45W.
• Hỗ trợ nhiều mô hình: Llama, Mistral, Gemma, Phi, Qwen, TAIDE và mô hình chưng cất DeepSeek tới 14 tỷ tham số.
• Bộ SDK: trình biên dịch, phần mở rộng PyTorch, lượng tử hoá FFP8, tối ưu đồ thị và runtime.

Ngân hàng hoặc công ty bảo hiểm tại Việt Nam có thể chạy trợ lý hỏi đáp tài liệu nội bộ trên máy chủ gắn card Viper mà không đưa dữ liệu lên đám mây. Nhà tích hợp hệ thống có thể xây máy trạm RAG ngoại tuyến cho công ty luật và cơ quan nhà nước. Nhà máy có thể triển khai trợ lý quản lý tri thức trên mạng nội bộ tách khỏi internet.

Một card 45W chạy được LLM tới 14 tỷ tham số, nên có thể bổ sung AI tạo sinh vào máy chủ và máy trạm thông thường mà không cần GPU công suất lớn. Dữ liệu được giữ tại chỗ, bảo đảm quyền riêng tư và chủ quyền dữ liệu. Công ty cho biết chip giảm tải hơn 90% nhu cầu tài nguyên AI tạo sinh khỏi CPU. Kích thước thấp phù hợp hệ thống nhỏ gọn và thiết bị biên.

Doanh nghiệp và cơ quan công ngày càng muốn AI tạo sinh riêng, chạy tại chỗ cho tài liệu nhạy cảm, trong khi chi phí GPU và giới hạn điện năng cản trở việc áp dụng. Bộ tăng tốc suy luận công suất thấp cho LLM cục bộ là nhóm sản phẩm đang tăng trưởng. Tại Việt Nam và Đông Nam Á, quy định lưu trữ dữ liệu trong nước và nguồn điện trung tâm dữ liệu hạn chế tạo lợi thế cho thiết bị AI ngoại tuyến nhỏ gọn.

Hoạt động từ năm 2019; trụ sở tại Zhubei, huyện Tân Trúc, Đài Loan, có văn phòng ở Đài Bắc và Thung lũng Silicon. Chủ tịch, nhà sáng lập kiêm CEO là TS. Youn-Long Lin. Đã gọi vốn Series A, Series B và vòng Series B3 17,6 triệu USD; nhà đầu tư gồm JAFCO Asia, Powerchip, Raydium, Sunplus và Wistron. Thành viên sáng lập MLCommons. Đối tác gồm Vecow, ShareGuru và Netiotek.