무료 ARM 서버에 로컬 LLM을 올리려다 포기했다, 진짜 범인은 컨텍스트 4096이었다
“이제 로컬에서 인공지능 모델 돌리는 게 공짜다”라는 말을 여기저기서 듣는다. 오라클 클라우드는 서버를 평생 무료로 준다. 올라마(Ollama)라는 도구는 명령 한…
에이전트, 워크플로, 서버, 로컬 LLM, 프로토콜
“이제 로컬에서 인공지능 모델 돌리는 게 공짜다”라는 말을 여기저기서 듣는다. 오라클 클라우드는 서버를 평생 무료로 준다. 올라마(Ollama)라는 도구는 명령 한…
오라클 클라우드 무료 서버를 쓰고 있다면, 이 글을 읽는 데 5분만 쓰기 바란다. 2026년 8월 18일부터 오라클이 무료 한도를 넘는…
[IT] Claude Desktop 대신, Hermes Agent를 거쳐서 Claude를 쓰는 이유 “그냥 Claude Desktop을 쓰면 되지, 굳이 왜 Hermes 같은 개인…
1. 오버클러킹이란? (초보자용 설명) CPU(Central Processing Unit)는 컴퓨터의 두뇌 역할을 하는 부품으로, 정해진 속도(기본 클럭)로 작동하도록 설계됩니다. 이 기본 클럭은…
MCP(Model Context Protocol)는 AI 애플리케이션과 외부 시스템을 연결하는 오픈소스 표준 프로토콜입니다. Anthropic이 주도하여 개발 중인 이 프로토콜은 마치 AI를 위한…
Nous Research는 미국 오픈소스 AI 운동의 선두주자로, 세계적 수준의 오픈소스 언어 모델을 훈련하고 분산·비편향 훈련을 조정하는 인프라를 구축하는 데 주력하고…
AI 에이전트 기술이 진화하면서, 우리는 ‘하네스(Harness)’라는 개념에 주목하게 됩니다. 이는 LLM의 핵심 추론 루프를 감싸서 지속적인 프롬프트 생성, 도구 호출,…
대규모 언어 모델(LLM)이 비즈니스와 개발 환경의 패러다임을 바꾸고 있는 가운데, 모델을 클라우드 API에 의존하지 않고 로컬에서 직접 구동하려는 움직임이 가속화되고…