Tổng hợp danh sách các AI Gateway
Dưới đây là tổng hợp danh sách các AI Gateway (cổng kết nối, định tuyến và quản lý mô hình AI) được đề xuất và ghi nhận trong các nguồn tài liệu.
1. Các AI Gateway mã nguồn mở & tự host cục bộ (Local/Self-Hosted)
| Tên Gateway |
Mô tả |
| OmniRoute |
AI Gateway mã nguồn mở mạnh mẽ hỗ trợ kết nối hơn 350+ nhà cung cấp (trong đó có hơn 150+ free tiers) và 1.200+ mô hình AI. Cung cấp 1 endpoint tương thích OpenAI, tự động xoay chuyển mô hình (quota-aware auto-fallback với 19 chiến lược định tuyến), tích hợp bộ nén token RTK + Caveman (giảm 15–95% token) và giao thức MCP/A2A. |
| 9Router |
Smart AI Router mã nguồn mở hỗ trợ kết nối hơn 60+ provider. Sử dụng cơ chế tự động chuyển tầng 3 bước (Tier 1: Subscription → Tier 2: Cheap → Tier 3: FREE) giúp duy trì kết nối liên tục không đứt quãng, đi kèm công cụ nén RTK & Caveman. |
| Leanmcp AI Gateway |
Cổng proxy drop-in dành cho các AI Coding Agent (như Claude Code) giúp hiển thị chi tiết từng câu lệnh, file context, số lượng token và chi tiết chi phí sử dụng theo thời gian thực. |
| NewAPI / NewAPI Gateway |
Nền tảng gateway tập trung giúp quản lý, gom nhóm và phân phối hơn 20+ mô hình AI khác nhau từ cloud đến local qua một đầu mối duy nhất. |
| LiteLLM |
Framework AI Gateway & Proxy nổi tiếng hỗ trợ chuẩn hóa định dạng API của hàng trăm provider về một chuẩn chung, đồng thời quản lý ngân sách và chi phí cuộc gọi. |
| ClawRouter & RouterBase |
Các cổng định tuyến mã nguồn mở hỗ trợ phân loại ý định đa ngôn ngữ, tự động kích hoạt fallback zero-cost và quản lý thông tin xác thực trên server. |
2. Các dịch vụ AI Gateway Cloud & thương mại
| Tên Gateway |
Mô tả |
| OpenRouter |
Cổng định tuyến AI phổ biến kết nối hơn 200+ mô hình từ các phòng lab lớn (OpenAI, Anthropic, Google, DeepSeek, Meta...), hỗ trợ cả các mô hình miễn phí bị giới hạn rate-limit lẫn các mô hình trả phí. |
| Vercel AI Gateway |
Dịch vụ AI Gateway do Vercel cung cấp, cho phép điều hướng linh hoạt giữa nhiều nhà cung cấp mô hình AI chỉ qua một endpoint duy nhất. |
| Cloudflare AI Gateway |
Cổng quản lý, giám sát và bảo mật các lượt gọi API mô hình AI nằm trong hệ sinh thái Cloudflare Workers. |
| Portkey AI Gateway |
Bảng điều khiển và cổng AI Gateway tích hợp bộ quan sát (observability), cho phép ghi log và gửi tới 10.000 request miễn phí mỗi tháng. |
| Lumenfall.ai |
AI Media Gateway cung cấp quyền truy cập tập trung vào các mô hình sinh ảnh/truyền thông hàng đầu qua chuẩn API OpenAI-compatible. |
| AgentRouter |
Cổng định tuyến hỗ trợ giao thức wire Anthropic lẫn OpenAI, cấp hạn ngạch trải nghiệm miễn phí khi đăng ký. |
| TokenRouter & NaraRoute & OrcaRouter |
Các dịch vụ AI Router đám mây chuyên định tuyến các mô hình miễn phí và tối ưu hóa chi phí token. |
3. Giải pháp AI Gateway doanh nghiệp & hạ tầng cục bộ
| Tên Giải pháp |
Mô tả |
| NVIDIA Personal AI Router (NVIDIA PAIR) |
Giải pháp gateway của NVIDIA giúp tự động phân bổ và điều phối các tác vụ AI qua các tài nguyên tính toán cục bộ (Local Compute). |
| GitHub HydraFusion |
Cơ chế định tuyến đa mô hình (Multi-Model Routing) thử nghiệm của GitHub Copilot nhằm nâng cao hiệu năng xử lý. |
