내 PC에서 AI를 돌릴 수 있을까? ‘Can I Run AI’ 활용

과거 게이머들이 고사양 게임을 실행하기 전 사양을 체크하던 ‘Can You Run It’의 AI 버전이라고 이해하시면 쉽습니다. 사용자의 CPU, GPU, RAM 사양을 분석하여 특정 AI 모델(예: Llama, Mistral, Gemma 등)이 내 로컬 환경에서 원활하게 구동될지 미리 시뮬레이션해 줍니다.

사용 방법 (Step-by-Step)

1. 사이트 접속: canirun.ai에 접속합니다.
2. 사양 분석: ‘Check My PC’ 기능을 통해 본인의 GPU(NVIDIA/AMD/Apple Silicon)와 RAM 용량을 인식시킵니다.
3. 모델 선택: 구동해보고 싶은 모델(예: Llama-3-8B)을 검색합니다.
4. 결과 확인: 내 VRAM에서 ‘Full’로 돌아가는지, 혹은 성능 저하가 예상되는지 확인합니다.

성능 예측: 특정 모델을 돌렸을 때 초당 몇 토큰(Tokens per second) 정도의 속도가 나올지 대략적인 가이드라인을 제공합니다.

예1 ) M1 Pro 맥북프로 14인치 시물레이션 결과

gemini 통해 어느정도 사용가능한지 결과를 토대로 물어봤습니다.

📊 분석: Apple M1 Pro (16GB)에서의 AI 구동 능력

이미지에서 보여주는 지표는 상당히 정직합니다. 총 68개의 모델 중 원활하게 돌아가는 모델은 약 27개(Runs Great/Well) 수준이네요.

• Llama 3.1 8B (Runs Well, 77점): * VRAM 점유율이 약 26%(4.1 GB)이며, 속도가 32 tok/s 정도 나옵니다.
  • 이 정도면 실시간 채팅이나 n8n 워크플로우에 연동해서 쓰기에 매우 쾌적한 수준입니다. 텍스트 요약이나 간단한 코드 생성용으로 딱 좋습니다.
• Phi-4 14B (Decent, 59점): * VRAM을 45%(7.2 GB) 사용하며 속도는 18 tok/s로 떨어집니다.
  • 조금 느려지기 시작하지만, 전문적인 추론(Reasoning)이 필요한 작업에는 충분히 실사용 가능합니다.
• Mistral Small 3.1 24B (Too Heavy, 0점): * 점유율이 77%(12.3 GB)까지 치솟으며 속도가 0 tok/s로 나옵니다.
  • 메모리 스왑(Swap)이 발생하면서 시스템 전체가 버벅거릴 수 있는 상태입니다. 16GB 통합 메모리의 한계가 여기서 드러나네요.

예2) RTX 4070 Ti GPU카드를 탑재한 데스크탑PC

이결과도 의견을 받아봤습니다.

🚀 분석: RTX 4070 Ti (12GB) — “폭발적인 속도, 그러나 VRAM의 벽”

데스크탑 환경답게 **추론 속도(Tokens per second)**가 압도적입니다. 하지만 VRAM 용량이 12GB로 고정되어 있어 대형 모델 구동 시 명확한 ‘한계선’이 보입니다.

• Llama 3.1 8B (Runs Great, 90점):
  • 속도가 무려 86 tok/s입니다. M1 Pro(32 tok/s)보다 2.5배 이상 빠릅니다.
  • 이 정도면 실시간 에이전트(Agent) 구동은 물론, n8n 워크플로우에서 대량의 텍스트를 처리할 때 병목 현상이 거의 없는 엔터프라이즈급 로컬 서버 수준입니다.
• Phi-4 14B (Runs Well, 70점):
  • VRAM 점유율 60%(7.2 GB)에서 49 tok/s가 나옵니다.
  • 중형 모델까지는 하드웨어의 CUDA 코어 가속을 완벽하게 활용하고 있다는 증거입니다. 매우 쾌적한 개발이 가능합니다.
• GPT-OSS 20B (Barely Runs, 39점):
  • VRAM 점유율이 90%(10.8 GB)에 육박하면서 33 tok/s로 속도가 떨어집니다.
  • 여기서부터는 아슬아슬한 구간입니다. 윈도우 기본 시스템 메모리가 VRAM 일부를 점유하고 있다면, 실제 실행 시 ‘Out of Memory(OOM)’ 에러가 발생할 확률이 높습니다.
• Qwen 3 32B (Barely Runs, 11점):
  • VRAM 137% 초과. 부족한 용량을 시스템 RAM으로 넘기고(Offloading) 있습니다.
  • 속도가 5 tok/s로 급감합니다. 이건 “돌아는 가지만 쓸 수는 없는” 상태입니다.

그래도 집에서 테스트 서버로 항상 돌리고 있는 우분투 데스크탑이 어느정도 역할은 할 수 있겠네요. 한번 돌려보겠습니다. ^^