Microsoft cho biết bạn sẽ có thể chạy API mô hình ngôn ngữ cục bộ của Windows 11 trên các PC không phải Copilot+ miễn là bạn đáp ứng yêu cầu phần cứng mới: GPU RTX 30+ với 6GB VRAM. Đó là một thay đổi lớn, vì điều đó có nghĩa là lợi thế của PC Copilot+ đang ngày càng “mỏng” và tôi sẽ không ngạc nhiên nếu Microsoft loại bỏ hoàn toàn yêu cầu NPU trong tương lai.
Copilot+ PC chính thức ra mắt vào ngày 18 tháng 6 năm 2024 và chúng đã thúc đẩy doanh số bán hàng cho các nhà sản xuất PC. Tuy nhiên, không phải do yếu tố “Copilot” hay “NPU”. Phần lớn là do các PC mới hơn hiện được bán dưới dạng “Copilot+ PC”, nên ngay cả việc mua máy tính xách tay thông thường cũng được coi là bằng chứng cho thấy PC AI đang phát triển.
Để một PC đáp ứng yêu cầu “Copilot+ PC”, nó cần phải có 16GB RAM, ổ SSD và ít nhất NPU 40 TOPS. Dành cho những ai chưa biết, NPU (Bộ xử lý thần kinh) là một con chip được thiết kế để chạy các mô hình AI, chuyên về hiệu quả hơn là năng lượng thô. Mặt khác, GPU là bộ xử lý hạng nặng được thiết kế cho các tác vụ song song lớn.
Microsoft đã bán cho bạn PC Copilot+ như một cách duy nhất để chạy AI cục bộ, nhưng điều đó không bao giờ là do thiết kế. GPU luôn có thể chạy mô hình AI tốt hơn nhiều so với NPU do sức mạnh thô của nó, nhưng Microsoft không muốn PC Copilot+ tỏ ra kém hấp dẫn hơn nên đã hạn chế các khả năng AI cục bộ như Windows Recall và Click to Do đối với PC có NPU.
Điều này có nghĩa là các PC chạy GPU hoàn hảo không hỗ trợ các tính năng AI cục bộ của Windows 11, chẳng hạn như chuyển văn bản thành hình ảnh, tạo văn bản, tạo hình ảnh, Thu hồi Windows và các khả năng khác, nhưng điều đó có thể sớm thay đổi.
Trong một bài đăng trên GitHub, lần đầu tiên được phát hiện bởi Windows mới nhất, Microsoft đã lặng lẽ xác nhận rằng PC Copilot + đang mất đi một trong những lợi thế lớn nhất của chúng, vì AI cục bộ sẽ đến với GPU RTX, miễn là bạn đáp ứng hai yêu cầu:
- Sở hữu GPU RTX 30+
- Có GPU được hỗ trợ với 6GB VRAM
Theo các tài liệu được cập nhật, nếu bạn là nhà phát triển, giờ đây bạn có thể chạy API Mô hình ngôn ngữ cục bộ trên các PC không phải Copilot+ bằng cách tận dụng GPU.
“API mô hình ngôn ngữ trên GPU [Experimental]. Microsoft cho biết API mô hình ngôn ngữ hiện chạy trên các PC không phải Copilot+ được trang bị GPU được hỗ trợ, mang khả năng mô hình ngôn ngữ địa phương đến nhiều thiết bị Windows 11 hơn. “Phần cứng được hỗ trợ bao gồm dòng NVIDIA GeForce RTX 30 trở lên với 6 GB VRAM trở lên.”
Điều này mở rộng một cách hiệu quả phạm vi của các thiết bị Windows 11 có khả năng chạy các mô hình ngôn ngữ địa phương ngoài các PC Copilot+ mới được trang bị NPU.
Tất nhiên, API mô hình ngôn ngữ không phải là thứ bạn có thể chạy bình thường trên PC trừ khi bạn biết cách xây dựng ứng dụng và gọi API, nhưng thực tế đây là bước khởi đầu cho sự kết thúc của các tính năng dành riêng cho Copilot+ PC.
Các tính năng AI mới tiềm năng sắp có trên tất cả PC có GPU thông qua API mô hình ngôn ngữ là gì?
Tôi đã tra cứu tài liệu chính thức của Microsoft để hiểu cách mở khóa API này cho tất cả các PC có GPU có khả năng sẽ thay đổi việc tích hợp AI trong Windows và tôi đã tìm thấy một số chi tiết thú vị.
API mô hình ngôn ngữ cho phép các ứng dụng Windows truy cập trực tiếp vào các tính năng AI trên PC của bạn và các API này được hỗ trợ bởi một mô hình ngôn ngữ nhỏ có tên là “Phi Silica”. Trước đây chúng tôi đã phát hiện các tham chiếu đến Phi Silica trong Microsoft Edge dành cho Windows đối với các tính năng như “Viết lại bằng AI”.
Theo mặc định, PC Windows không có mô hình AI trừ khi bạn mua PC Copilot+, vì vậy điều đó có nghĩa là nếu bạn chạy một ứng dụng mới sử dụng API mô hình cục bộ, ứng dụng đó có thể yêu cầu Windows Update tải xuống mô hình Phi Silica trên PC của bạn và chạy cục bộ bằng GPU nếu được hỗ trợ. Hiện tại, một ứng dụng có thể khai thác các tính năng AI sau của Windows:
- Định dạng văn bản được hỗ trợ bởi AI trong các ứng dụng sử dụng API Windows.AI.Text
- Tóm tắt (TextSummarizer)
- Viết lại (TextRewriter)
- Chuyển văn bản thành bảng (TextToTableConverter)
- Tạo dấu nhắc chung.
Nói cách khác, bạn sẽ có thể sử dụng một số tính năng giống ChatGPT vốn có trong ứng dụng Windows trên PC Nvidia và mọi thứ sẽ chạy cục bộ, điều đó có nghĩa là quyền riêng tư của bạn được bảo vệ hoàn toàn so với các mô hình đám mây như Copilot hoặc ChatGPT.
Hiện tại, có vẻ như Microsoft không có kế hoạch đưa Windows Recall, Click to Do và AI trong MS Paint lên PC không có chip NPU. Hiện tại, các khả năng AI cục bộ mở rộng bị giới hạn ở một API duy nhất, chủ yếu hỗ trợ các khả năng liên quan đến văn bản và lời nhắc chung.
