Dùng Ollama với Pluely: AI hoàn toàn cục bộ, hoàn toàn ngoại tuyến

Hãy kết nối Ollama và lớp phủ Pluely sẽ trả lời bằng các mô hình chạy hoàn toàn trên máy của bạn: không có gì rời khỏi máy tính, và mọi thứ hoạt động cả khi ngoại tuyến.

1. Cài đặt và tải mô hình

Cài Ollama từ ollama.com, khởi động nó, rồi tải ít nhất một mô hình trong terminal, ví dụ ollama pull llama3.2 (hoặc gemma3 cho thị giác, deepseek-r1 cho suy luận).

2. Kết nối trong Pluely

1. Mở bảng điều khiển → Dev Space → Kết nối CLI của bạn.
2. Pluely tự động phát hiện Ollama. Nhấp Kết nối.
3. Chọn một mô hình: bắt buộc với Ollama. Bảng Mô hình liệt kê mọi mô hình bạn đã tải về máy; danh sách được làm mới khi bạn kết nối lại.
4. Ollama xuất hiện ở đầu bộ chọn mô hình trên lớp phủ dưới tên CLI của bạn (ví dụ Ollama · llama3.2).

Mô hình thị giác

Đính kèm ảnh chụp màn hình và hình ảnh khi mô hình bạn chọn là đa phương thức: Pluely nhận ra các dòng mô hình thị giác (llava, gemma3, qwen-vl, llama3.2-vision, minicpm-v và nhiều dòng khác) và tự động bật các nút hình ảnh. Với mô hình chỉ xử lý văn bản, các nút này vẫn bị tắt kèm gợi ý tải một mô hình thị giác.

Mô hình suy luận

Các mô hình suy luận như DeepSeek-R1 và Qwen3 được hỗ trợ đầy đủ: chuỗi suy nghĩ của chúng được tự động lược bỏ, nên lớp phủ chỉ hiện câu trả lời cuối cùng, không bao giờ là cả một khối văn bản <think>.

Khắc phục sự cố

• “Ollama chưa chạy”: khởi động ứng dụng Ollama (hoặc ollama serve) rồi nhấp nút làm mới cạnh “Kết nối CLI của bạn”.
• Không có mô hình nào trong bộ chọn: chạy ollama pull để tải một mô hình trong terminal, rồi kết nối lại.

Liên quan

• Kết nối CLI cục bộ (mọi lựa chọn)
• Ưu tiên cục bộ và quyền riêng tư
• Chọn AI của bạn