Av의 앱

Harbor로 수월한 로컬 LLM 관리

Harbor는 로컬 대형 언어 모델(LLM) 스택 관리를 위해 설계된 강력한 명령줄 인터페이스(CLI) 및 동반 애플리케이션입니다. 이는 Ollama, llama.cpp 및 vLLM과 같은 다양한 백엔드와 Open WebUI와 같은 프론트엔드를 배포하고 조정하는 과정을 단순화합니다. 단일 `harbor up` 명령을 실행함으로써 사용자는 수동 설정 없이 웹 검색 및 음성 채팅 기능을 포함한 여러 서비스를 통합한 완전히 구성된 환경을 신속하게 구…