vLLM
vllm-project/vllmMotor de servicio de LLM de alto rendimiento
EmpresasInferencia localDocker / autoalojadoBiblioteca / SDKPermisivaDe un vistazo
- estrellas en GitHub
- 96k
- colaboradores
- 3.9k+
- último commit
- última versión, hace 2 semanas
- v0.32.0
- licencia
- Apache-2.0
Acerca de
Un motor rápido de inferencia y servicio para LLMs basado en PagedAttention y continuous batching. Es la opción estándar para servir modelos abiertos a escala en GPUs.
Del repositorio (en inglés): “A high-throughput and memory-efficient inference and serving engine for LLMs”
Descargas
Todas las versiones en GitHub ↗Última versión: v0.32.0, . Sus archivos se descargaron 64.040 veces.
Todos los archivos (9)
Other files
- vllm-0.32.0+cu129-cp38-abi3-manylinux_2_28_x86_64.whl534 MB · 16k descargas
- vllm-0.32.0+cpu-cp38-abi3-macosx_11_0_arm64.whl29 MB · 4.2k descargas
- vllm-0.32.0+cpu-cp38-abi3-manylinux_2_39_aarch64.whl68 MB · 3.6k descargas
- vllm-0.32.0+cpu-cp38-abi3-manylinux_2_39_x86_64.whl148 MB · 9.1k descargas
- vllm-0.32.0+cu129-cp38-abi3-manylinux_2_28_aarch64.whl509 MB · 372 descargas
- vllm-0.32.0+xpu-cp38-abi3-manylinux_2_34_x86_64.whl32 MB · 101 descargas
- vllm-0.32.0-cp38-abi3-manylinux_2_28_aarch64.whl307 MB · 14k descargas
- vllm-0.32.0-cp38-abi3-manylinux_2_28_x86_64.whl311 MB · 16k descargas
- vllm-0.32.0.tar.gz42 MB · 218 descargas
Estos archivos vienen de la versión publicada del proyecto en GitHub. DigGitHub no los revisa.
Alternativas
Todas las alternativas →| Proyecto | Estrellas | Último commit | Licencia | Puntuación |
|---|---|---|---|---|
 vLLMEste proyecto | 96k | Apache-2.0 | 92 | |
 SGLangFast serving framework for LLMs | 38k | Apache-2.0 | 90 | |
 OllamaEjecuta LLMs de pesos abiertos de forma local con un solo comando | 185k (el mejor) | MIT | 94 (el mejor) | |
 UnslothFine-tuning y ejecución local rápida de LLMs | 79k | Apache-2.0 | 85 | |
 ncnnNeural network inference for mobile | 24k | Propia (léela antes de usar) | 67 |
▲ marca la mayor cantidad de estrellas y la mejor puntuación.
