Khi cơn sốt trí tuệ nhân tạo tạo sinh bùng nổ vào cuối năm 2022, mô hình chung của cả thế giới là: người dùng nhập câu hỏi vào điện thoại, dữ liệu được truyền qua hàng nghìn cây số cáp quang biển đến các trung tâm dữ liệu ngốn hàng megawatt điện tại Mỹ, sau đó câu trả lời mới được gửi ngược lại. Mô hình này không chỉ gây lãng phí năng lượng, tạo độ trễ lớn mà còn đặt ra câu hỏi nghiêm trọng về quyền sở hữu dữ liệu cá nhân.
1. Kỹ thuật lượng tử hóa (Quantization) và phép màu nén mô hình
Lý do các mô hình AI ban đầu không thể chạy trên điện thoại là do dung lượng khổng lồ của chúng: mỗi tham số (parameter) được lưu trữ dưới định dạng dấu phẩy động 16-bit (FP16), đòi hỏi hàng chục gigabyte bộ nhớ đồ họa máy chủ chuyên dụng.
Bước ngoặt xảy ra khi các nhà khoa học máy tính hoàn thiện kỹ thuật Lượng tử hóa 4-bit (4-bit Quantization) và Cắt tỉa trọng số nhận thức (Knowledge Distillation). Bằng cách giảm độ chính xác toán học từ 16-bit xuống 4-bit ở những vùng nơ-ron ít quan trọng và nén cấu trúc ma trận, dung lượng của một mô hình 7 tỷ tham số giảm từ 14GB xuống chỉ còn 3.8GB, hoàn toàn nằm gọn trong bộ nhớ hợp nhất (UMA) của những chiếc điện thoại như iPhone Duo hay Galaxy S26 Ultra.
2. Lợi ích tối thượng: Tốc độ tức thì và bảo mật 100%
- Không phụ thuộc internet: Bạn đang ngồi trên máy bay ở độ cao 10.000 mét hay cắm trại ở vùng núi hẻo lánh không có sóng điện thoại? Toàn bộ trợ lý AI vẫn hoạt động trơn tru để tóm tắt sách, dịch thuật ngôn ngữ và xử lý tài liệu.
- Bảo mật tuyệt đối: Những dòng nhật ký cá nhân, hồ sơ bệnh án hay bản thảo hợp đồng kinh doanh tối mật không bao giờ đi qua bất kỳ đường truyền internet nào, triệt tiêu 100% rủi ro bị nghe lén hoặc bị các công ty công nghệ khai thác thương mại.
