Nền tảng tối ưu mô hình AI trên thiết bị NetsPresso

Nota AI (Nota Inc.) là công ty AI trên thiết bị của Hàn Quốc, trụ sở tại Daejeon, có văn phòng ở Seoul, Sunnyvale và Berlin. Khởi đầu với sản phẩm AI giảm lỗi gõ phím, công ty chuyển hướng sang AI trên thiết bị và nay giúp hãng chip, hãng thiết bị và doanh nghiệp đưa mô hình AI lớn vào phần cứng hạn chế mà không giảm độ chính xác.

NetsPresso nhận mô hình đã huấn luyện rồi nén, lượng tử hóa và đo hiệu năng cho phần cứng đích cụ thể như chip Qualcomm, Renesas, Arm, NVIDIA hay Samsung, tạo ra mô hình sẵn sàng triển khai. Người dùng có thể chạy quy trình qua bộ công cụ và tác tử AI, gồm vòng tối ưu tự động cho môi trường biên và máy chủ, hoặc thuê chuyên gia của Nota. Nền tảng đã tích hợp với NVIDIA TAO và Qualcomm AI Hub, ngoài ra Nota còn xây giải pháp thị giác trên thiết bị cho giao thông thông minh, an toàn công nghiệp, giám sát an ninh và giám sát tài xế. Khách hàng và đối tác gồm Samsung Electronics, Arm, Renesas, Qualcomm, LG Electronics, Deutsche Telekom và FuriosaAI.

• Nén mô hình: cắt tỉa và tối ưu để giảm kích thước mà vẫn giữ độ chính xác.
• Lượng tử hóa: chuyển mô hình sang định dạng bit thấp phù hợp NPU, vi điều khiển và GPU.
• Đo hiệu năng trên thiết bị: đo độ trễ và bộ nhớ trên phần cứng đích như chip Qualcomm và Renesas.
• Tối ưu bằng tác tử: tác tử AI tự động hóa quy trình tối ưu cho thiết bị biên và máy chủ.
• Tích hợp hệ sinh thái: làm việc với NVIDIA TAO, Qualcomm AI Hub và công cụ của Arm.
• Giải pháp theo ngành: thị giác trên thiết bị cho giao thông, an toàn công nghiệp, giám sát và giám sát tài xế.

Hãng camera hoặc thiết bị IoT Việt Nam có thể tối ưu mô hình nhận diện để chạy trên chip Arm hoặc Renesas giá rẻ thay vì bổ sung GPU. Đơn vị tích hợp giao thông thông minh có thể triển khai mô hình nhận diện phương tiện và biển số đã tối ưu trên thiết bị biên ven đường. Đội AI doanh nghiệp có thể lượng tử hóa mô hình ngôn ngữ cục bộ để giảm bộ nhớ GPU trước khi triển khai tại chỗ.

Thu nhỏ mô hình để chạy được trên chip rẻ hơn: công ty nêu mức giảm 70% bộ nhớ, tăng tốc suy luận 125 lần trên vi điều khiển cho một hãng thiết bị và giảm 50% GPU cho một mô hình ngôn ngữ MoE. Đo hiệu năng theo phần cứng cho biết độ trễ thực trên thiết bị đích trước khi triển khai. Đội ngũ có thể chọn công cụ tác tử tự phục vụ hoặc dịch vụ chuyên gia. Nota công bố giải pháp AI video của mình giúp hơn 20 doanh nghiệp giảm tới 85% chi phí hạ tầng giám sát.

Điện thoại, máy tính, ô tô, robot và camera ngày càng có NPU, nhưng phần lớn mô hình AI quá lớn để chạy trên đó nếu không tối ưu. Các hãng chip ngày càng đi kèm công cụ tối ưu với sản phẩm, còn doanh nghiệp châu Á muốn chạy phân tích video và mô hình ngôn ngữ trên phần cứng tại chỗ, tạo nhu cầu về công cụ nén mô hình theo phần cứng dùng được cho nhiều hãng chip.

Trụ sở tại Daejeon, Hàn Quốc, có văn phòng tại Seoul, Sunnyvale (Nota America Inc.) và Berlin (Nota AI GmbH). Đã gọi vốn hạt giống, tiền Series A, Series A (6,6 triệu USD), Series B (14,6 triệu USD) và Series C (19,9 triệu USD). Có hợp đồng nhiều năm với Samsung Electronics cho chip di động, ô tô và AI PC, và là đối tác công nghệ cốt lõi trong dự án thành phố thí điểm chuyên về AI của Hàn Quốc. Trang web có huy hiệu chứng nhận LRQA.