오늘도 공부

https://developers.redhat.com/articles/2025/11/19/speculators-standardized-production-ready-speculative-decoding Speculators: Standardized, production-ready speculative decoding | Red Hat DeveloperSpeculators standardizes speculative decoding for large language models, with a unified Hugging Face format, vLLM integration, and moredevelopers.redhat.com Speculative decoding = “작은 똑똑이 먼저 왕창 써 보고, 큰..

GitHub - karpathy/llm-council: LLM Council works together to answer your hardest questionsLLM Council works together to answer your hardest questions - karpathy/llm-councilgithub.com 개요LLM Council은 여러 AI 모델이 협력하여 상호 평가와 종합을 통해 고품질 응답을 생성하는 3단계 심의 시스템입니다.아키텍처 다이어그램1단계: 개별 응답목적동일한 질문에 대해 여러 AI 모델로부터 다양한 관점을 수집합니다.프로세스사용자 질문이 모든 평의회 모델에 병렬로 전송됩니다 (Rate Limit 처리 포함)각 모델이 독립적으로 응답을 생성합니다응답이 수집되고 저장됩니..