End-to-end latency là khoảng thời gian từ lúc nhận yêu cầu đến khi trả được kết quả cuối cùng theo quy ước đo của hệ thống. Với agent, khoảng này có thể gồm chờ hàng đợi, chạy mô hình, gọi công cụ và kiểm tra kết quả; nó khác tốc độ sinh token riêng lẻ.
« Quay trở lại Từ điểnEnd-to-end latency
« Quay trở lại Từ điển