파인튜닝 on 가십데일리

데이터 사이언티스트의 역습

Fri, 03 Apr 2026 00:00:00 +0000

LLM API 등장으로 데이터 사이언티스트가 AI 출시 핵심 경로에서 배제되었지만, 실험 설계·지표 측정·확률적 시스템 디버깅 등 본질적 업무는 사라지지 않았다는 논지이다. OpenAI Codex와 Karpathy의 auto-research 프로젝트 모두 테스트·지표·관측 스택으로 구성된 인프라 위에서 작동한다는 점이 강조된다.

💡 실무 포인트: LLM 기반 제품의 품질 관리에는 전통적인 ML 실험 설계 역량(A/B 테스트, 지표 설계, 평가 파이프라인)이 여전히 필수적이다.

Show GN: 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화된 7B 파라미터 에이전트 LLM

Thu, 02 Apr 2026 00:00:00 +0000

한국 증시(KOSPI+KOSDAQ) 특화 언어 모델 VELA가 공개되었다. Qwen2.5-7B-Instruct를 베이스로 SFT + DPO 파이프라인으로 파인튜닝했다. 기존 금융 LLM의 한국 시장 용어 환각과 언어 전환(language leak) 문제를 해결하기 위해 제작되었으며, 7B 파라미터 사이즈임에도 기본 업무에서는 베이스 모델 대비 확실한 성능 향상을 보인다.

커뮤니티 의견

@ahiou: “멋지네요! 7B 로도 안정적인가요?”

@unohee: “모델 사이즈에 비해서 기본적인 업무들은 base 모델보다 확실히 낫습니다. 벤치마크도 같이 올려야겠네요!”

관련 레퍼런스

VELA 모델 (HuggingFace)

💡 실무 포인트: 도메인 특화 LLM을 만들 때 SFT+DPO 파이프라인 조합이 효과적이며, 7B 규모에서도 특정 도메인에서는 충분한 성능을 달성할 수 있다.

Show GN: 한국 주식시장 뉴스 분석 및 투자 리서치를 위해 특화된 7B 파라미터 에이전트 LLM

Wed, 01 Apr 2026 00:00:00 +0000

한국 증시(KOSPI+KOSDAQ) 특화 언어 모델 VELA가 공개되었다. Qwen2.5-7B-Instruct를 베이스로 SFT+DPO 파이프라인으로 파인튜닝했다. 기존 금융 LLM이 한국 시장 용어에서 할루시네이션이 심하거나 응답 중간에 중국어/영어로 전환되는 language leak 문제를 해결하는 데 초점을 맞췄다.

💡 실무 포인트: 도메인 특화 LLM 구축 시 language leak 문제는 SFT+DPO 파이프라인으로 완화할 수 있다. 한국어 금융 분석이 필요하다면 VELA를 베이스라인으로 검토해볼 만하다.

Mistral AI, Forge 출시

Fri, 20 Mar 2026 00:00:00 +0000

Forge는 기업이 내부 문서·코드베이스·운영 데이터를 활용해 도메인 특화 AI 모델을 구축할 수 있는 시스템이다. 사전학습·후학습·강화학습 파이프라인을 제공하며, EU 내 데이터 보관이 가능해 유럽 기업의 규제 요건을 충족한다. 다만 모델 이름 체계(devstral-2512, devstral-latest 등)가 혼란스럽다는 비판이 있으며, 지원팀이 AI 생성 가이드를 보내는 아이러니한 상황도 보고되었다.

커뮤니티 의견

@GN⁺: “비용과 EU 내 데이터 보관의 균형이 완벽함. 하지만 모델 이름 체계가 너무 혼란스러움. 지원팀에 문의했더니 AI가 생성한 가이드를 보내줬는데, 그 가이드에 나온 화면이 실제로 존재하지 않음”

💡 실무 포인트: EU 규제 환경에서 도메인 특화 모델이 필요한 경우 Forge가 대안이 될 수 있다. 공식 문서를 통해 정확한 모델 ID를 확인하는 것이 중요하다.

Unsloth Studio - 로컬에서 AI 모델을 훈련하고 실행하는 오픈소스 노코드 웹 UI

Fri, 20 Mar 2026 00:00:00 +0000

텍스트·오디오·임베딩·비전 등 다양한 AI 모델의 로컬 실행과 학습을 하나의 인터페이스에서 지원하는 오픈소스 도구다. Mac/Win/Linux에서 GGUF/safetensor 모델을 로컬 실행 가능하며, 학습 시 최대 2배 빠른 속도와 70% 적은 VRAM 사용을 달성한다. uv 기반 설치로 Python 환경 설정이 간소화되었다.

커뮤니티 의견

@GN⁺: “방금 PyPI 릴리스를 새로 올렸음. uv pip install unsloth==2026.3.7 –torch-backend=auto로 설치 가능”

💡 실무 포인트: 소규모 도메인 특화 모델 파인튜닝을 로컬에서 노코드로 실험할 수 있어, GPU 서버 없이도 프로토타이핑이 가능하다.

Mistral AI, Forge 출시

Thu, 19 Mar 2026 00:00:00 +0000

Forge는 기업이 내부 문서·코드베이스·운영 데이터를 활용해 도메인 특화 AI 모델을 직접 구축할 수 있는 시스템이다. 사전학습·후학습·강화학습 전체 파이프라인을 제공하며, EU 내 데이터 보관을 보장한다. 다만 Mistral의 모델 이름 체계가 혼란스럽다는 불만이 지속적으로 제기되고 있다. devstral-2512, devstral-latest, devstral-medium-latest가 모두 동일한 Devstral 2를 가리키는 등 네이밍 혼선이 심각하다.

커뮤니티 의견

@GN⁺: “Mistral이 마음에 듦. 비용과 EU 내 데이터 보관의 균형이 완벽함. 하지만 모델 이름 체계가 너무 혼란스러움”

💡 실무 포인트: EU 데이터 규정 준수가 필요한 기업이라면 Forge를 통한 도메인 특화 모델 구축을 검토하되, API 모델명은 공식 문서를 반드시 확인하라.

Unsloth Studio - 로컬에서 AI 모델을 훈련하고 실행하는 오픈소스 노코드 웹 UI

Thu, 19 Mar 2026 00:00:00 +0000

텍스트·오디오·임베딩·비전 등 다양한 AI 모델의 로컬 실행과 학습을 하나의 인터페이스에서 지원하는 오픈소스 노코드 도구다. 맥/윈/리눅스에서 GGUF/safetensor 모델을 로컬 실행 가능하며, 학습 시 최대 2배 빠른 속도와 70% 적은 VRAM으로 파인튜닝할 수 있다.

💡 실무 포인트: 코딩 없이 로컬에서 모델 파인튜닝을 실험하려면 Unsloth Studio로 빠르게 프로토타이핑할 수 있다.

Karpathy, Autoresearch로 nanochat을 2일간 자동 튜닝해 GPT-2 학습 시간 11% 단축

Fri, 13 Mar 2026 00:00:00 +0000

Karpathy가 3일 전 공개한 Autoresearch 에이전트를 활용해, depth=12 모델 기준으로 약 2일간 자율적으로 약 700개의 변경을 시도하여 검증 손실을 개선하는 20개의 유효한 변경사항을 발견했다. AI가 AI 학습 자체를 자동으로 최적화하는 “자기 개선 루프"의 실증 사례로, 확장된 형식의 강화학습처럼 설명 가능한 연구 자동화 가능성을 보여준다.

커뮤니티 의견

@hanje3765: “오토리서치와 에이전트허브를 결합하면 그게 진짜 학계와 연구소 아닐까… RL은 설명 불가능하지만 해당 방식으로 확장하면 무엇이든 설명 가능해지는게 진짜 혁신적”

@sea715: “이게 어찌보면 AGI가 오기전 마지막 허들일수도 있겠다라는 생각”

@xguru: “이 분은 뭔가 다른 삶을 사는 것 같아요”

💡 실무 포인트: 하이퍼파라미터 튜닝이나 아키텍처 서치를 에이전트 루프로 자동화하는 패턴을 자체 ML 파이프라인에 적용 검토.

Karpathy, Autoresearch로 nanochat을 2일간 자동 튜닝해 GPT-2 학습 시간 11% 단축

Thu, 12 Mar 2026 00:00:00 +0000

Karpathy가 공개한 Autoresearch 에이전트가 depth=12 모델 기준으로 약 2일간 자율적으로 약 700개의 변경을 시도하여, 검증 손실을 개선하는 약 20개의 유효한 변경사항을 발견했다. AI 에이전트가 연구 자체를 자동화하는 구조로, 학회 제출과 피어 리뷰의 피드백 루프를 자동화한 확장된 강화학습 형태로 볼 수 있다는 분석이 나온다.

커뮤니티 의견

@hanje3765: “오토리서치와 에이전트허브 컨셉을 결합하면 그게 진짜 학계와 연구소 아닐까. 확장된 형식의 강화학습같아보였습니다”

@xguru: “이 분은 뭔가 다른 삶을 사는 것 같아요”

관련 레퍼런스

AgentHub - Karpathy

💡 실무 포인트: 하이퍼파라미터 튜닝이나 모델 구조 실험을 자동화하려는 팀이라면, Autoresearch의 “자율적 변경 시도 → 검증 → 채택” 패턴을 참고하여 자체 자동 실험 파이프라인을 구축해볼 수 있다.