AI Agent Eval Harness: 자동 실행 전 실패 사례를 모으는 법
AI Agent Eval Harness: 자동 실행 전 실패 사례를 모으는 법를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Trends
AI Trends 카테고리는 AI 도구를 실제 업무와 개발 흐름에 적용할 때 필요한 판단 기준을 모읍니다. 단순한 뉴스보다 검증, 자동화 범위, 비용, 보안, 데이터 거버넌스, 검색 최적화처럼 바로 적용할 수 있는 주제를 우선합니다.
각 글은 OpenAI 공식 문서, NIST AI RMF, OWASP LLM 보안 자료, OECD AI Principles, EU AI Act 관련 공식 자료, Stanford AI Index처럼 확인 가능한 출처를 참고합니다. 목적은 특정 모델을 홍보하는 것이 아니라 AI를 도입하기 전 질문, 검증 방식, 운영 책임을 명확히 하는 것입니다.
처음 방문했다면 agent workflow, prompt engineering, RAG 평가, structured outputs, LLM 보안 글부터 읽으면 좋습니다.
먼저 읽기
- AI Agent Workflow 2026
- Prompt Engineering 체크리스트
- RAG 평가 체크리스트
- Structured Outputs와 JSON Schema
- LLM Prompt Injection 대응
최신 글
AI Tool Permission 설계: 읽기, 초안, 실행 권한을 나누기
AI Tool Permission 설계: 읽기, 초안, 실행 권한을 나누기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
RAG Observability: 검색 로그와 답변 근거를 함께 남기기
RAG Observability: 검색 로그와 답변 근거를 함께 남기기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Multimodal AI QA 체크리스트: 이미지와 텍스트 오류를 따로 보기
Multimodal AI QA 체크리스트: 이미지와 텍스트 오류를 따로 보기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Prompt Injection 사고 대응: 차단보다 기록과 복구 절차
Prompt Injection 사고 대응: 차단보다 기록과 복구 절차를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Synthetic Data Risk Register: 합성데이터가 편향을 숨기지 않게 하기
Synthetic Data Risk Register: 합성데이터가 편향을 숨기지 않게 하기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Cost Ledger: 토큰 비용보다 재시도와 검토 시간을 기록하기
AI Cost Ledger: 토큰 비용보다 재시도와 검토 시간을 기록하기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Model Routing과 Fallback: 저렴한 모델과 고품질 모델을 나누는 기준
Model Routing과 Fallback: 저렴한 모델과 고품질 모델을 나누는 기준를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Structured Output Contract: JSON Schema를 제품 계약으로 쓰기
Structured Output Contract: JSON Schema를 제품 계약으로 쓰기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Procurement Scorecard: 벤더 데모보다 운영 책임을 묻기
AI Procurement Scorecard: 벤더 데모보다 운영 책임을 묻기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Private Data Redaction Workflow: AI 입력 전에 지울 것과 남길 것
Private Data Redaction Workflow: AI 입력 전에 지울 것과 남길 것를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Eval Dataset Versioning: 모델 비교 전에 평가세트를 고정하기
Eval Dataset Versioning: 모델 비교 전에 평가세트를 고정하기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Human Review Queue 설계: AI가 자신 없는 사례를 사람에게 넘기는 법
Human Review Queue 설계: AI가 자신 없는 사례를 사람에게 넘기는 법를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Accessibility Workflow: 접근성 검수를 자동화할 때 놓치기 쉬운 것
AI Accessibility Workflow: 접근성 검수를 자동화할 때 놓치기 쉬운 것를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Coding Agent CI Guardrails: 테스트 없는 자동 수정을 막기
Coding Agent CI Guardrails: 테스트 없는 자동 수정을 막기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Voice AI Consent Logging: 녹음, 요약, 보관 기준을 먼저 정하기
Voice AI Consent Logging: 녹음, 요약, 보관 기준을 먼저 정하기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Answer Engine Content Structure: AI 검색이 인용하기 쉬운 문서 구조
Answer Engine Content Structure: AI 검색이 인용하기 쉬운 문서 구조를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
Agent Memory Governance: 편리한 기억 기능의 삭제와 범위 관리
Agent Memory Governance: 편리한 기억 기능의 삭제와 범위 관리를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Incident Postmortem: 환각, 도구오류, 권한오류를 분리해 기록하기
AI Incident Postmortem: 환각, 도구오류, 권한오류를 분리해 기록하기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI Workflow SLO: 정확도만이 아니라 지연, 비용, 검토율을 목표로 잡기
AI Workflow SLO: 정확도만이 아니라 지연, 비용, 검토율을 목표로 잡기를 검색 독자가 바로 적용할 수 있도록 기준, 기록, 검증 순서로 정리합니다.
AI agent human approval gates: 자동화 전에 사람이 멈춰야 할 지점
AI agent는 배포, 결제, 데이터 삭제, 권한 변경, 외부 발송 같은 행동 전에 사람 승인 게이트가 필요하다.
AI agent debug loop playbook: 실패 로그에서 수정까지 반복하는 법
AI agent 디버깅은 로그 붙여넣기보다 재현 명령, 최소 실패, 가설, 한 번의 변경, 재검증 루프가 중요하다.
AI agent token context budgeting: 큰 작업을 잘라서 맡기는 법
AI agent는 큰 작업을 한 번에 주면 오래된 맥락을 잃거나 자동 요약에 의존하므로 단계별 예산이 필요하다.
AI agent browser tool verification: UI 변경을 눈으로 확인하는 순서
AI agent가 프론트엔드를 수정했다면 빌드 통과만으로 충분하지 않고 브라우저 렌더링, 콘솔, 네트워크를 확인해야 한다.
AI agent review log template: 사람이 검토할 기록을 남기는 법
AI agent가 만든 변경은 요청, 변경 파일, 테스트, 실패, 미확인 위험을 한 기록으로 남겨야 신뢰가 생긴다.
AI agent env and secret hygiene: 환경변수와 키 노출을 줄이는 법
AI agent 세션에는 필요한 환경변수만 전달하고 .env, credential, token 로그를 읽지 못하게 막아야 한다.
AI agent commit boundary prompt: 리뷰 가능한 변경 단위로 쪼개기
AI agent 작업은 커밋 경계를 프롬프트에 넣어야 기능 수정, 테스트, 문서 변경이 한 diff에 섞이지 않는다.
AI agent test-first task brief: 실패 조건을 먼저 주는 프롬프트
AI agent에게 작업을 맡길 때는 원하는 코드보다 실패 조건, 재현 명령, 통과 기준을 먼저 주는 것이 안전하다.
AI agent MCP security checklist: 도구 연결 전 최소 권한 점검
MCP는 에이전트에게 외부 도구를 연결하므로 서버 범위, 환경변수, 승인 모드, 도구 allowlist를 먼저 정해야 한다.
AI agent repo instruction file template: AGENTS.md와 CLAUDE.md 공통 구조
AI agent 지침 파일은 도구별 문법보다 빌드 명령, 테스트, 금지 경로, 커밋 규칙을 일관되게 담는 것이 중요하다.
Claude Code update and version pin: 안정 버전과 최신 버전 운영법
Claude Code는 자동 업데이트, 수동 업데이트, 특정 버전 설치 방식을 팀 정책에 맞게 정해야 재현성이 생긴다.
Claude Code print JSON automation: claude -p 출력 자동화 기본
claude -p는 파이프와 스크립트에서 빠르게 쓸 수 있지만 출력 형식, 권한, 입력 범위를 명확히 해야 한다.
Claude Code sensitive file deny 설정: .env와 secrets 접근 차단
Claude Code는 .env, credentials, build output, secret directories를 permissions.deny로 명시 차단해야 한다.
Claude Code VS Code terminal setup: IDE와 CLI 작업 위치 맞추기
VS Code 터미널에서 Claude Code를 쓸 때는 열려 있는 workspace, 현재 디렉터리, Git 상태가 같은지 먼저 확인해야 한다.
Claude Code background agents: 병렬 작업을 안전하게 나누는 법
Claude Code background agents는 병렬 세션을 볼 수 있지만 작업 범위, 권한, 로그 확인 없이 쓰면 충돌이 생긴다.
Claude Code permission modes: plan, acceptEdits, auto, bypassPermissions 차이
Claude Code permission mode는 세션이 계획만 할지, 편집을 받을지, 자동 승인할지, 위험한 우회를 허용할지 정한다.
Claude Code MCP project scope: .mcp.json을 팀과 공유하는 기준
Claude Code MCP 서버는 local, project, user scope에 따라 저장 위치와 공유 범위가 달라진다.
Claude Code CLAUDE.md memory setup: 프로젝트 기억 파일 작성법
CLAUDE.md는 Claude Code가 프로젝트 규칙, 빌드 명령, 테스트 기준을 기억하게 하는 시작 문서다.
Claude Code settings.json permissions: allow, ask, deny 기본값
Claude Code의 settings.json은 권한, 환경변수, 도구 동작을 계층적으로 제어하는 핵심 설정 파일이다.
Claude Code install, login, doctor: 설치 후 바로 점검할 것
Claude Code는 설치 후 claude --version, 로그인 상태, claude doctor를 확인해야 작업 실패 원인을 빨리 줄일 수 있다.
Codex Windows WSL setup: PowerShell, WSL, Git 경로를 나눠 쓰는 법
Windows에서 Codex를 쓸 때는 PowerShell 프로젝트와 WSL 프로젝트를 섞지 말고 설치 위치와 Git 루트를 분리해야 한다.
codex command not found 해결: PATH, 설치 위치, 중복 바이너리 점검
codex: command not found는 설치 실패보다 PATH 미반영, 다른 셸, 중복 설치, 권한 문제인 경우가 많다.
Codex non-interactive CI checklist: 자동 실행 전에 막아야 할 위험
Codex를 CI나 스크립트에서 쓰려면 승인 정책, 샌드박스, 네트워크, 시크릿 노출, 산출물 검증을 먼저 고정해야 한다.
Codex large repo context control: 큰 저장소에서 읽을 범위를 줄이는 법
대형 저장소에서 Codex를 쓸 때는 전체 탐색보다 관련 디렉터리, 테스트, 소유자 파일을 먼저 지정해야 한다.
Codex safe Git workflow: 작은 diff, 테스트, 커밋 경계를 고정하기
Codex 작업은 Git 상태 확인, 작은 diff, 테스트 명령, 사람이 읽을 수 있는 커밋 경계가 있을 때 리뷰 비용이 줄어든다.
Codex API key vs ChatGPT login: 팀 환경에서 인증 방식을 고르는 법
Codex 인증은 개인 ChatGPT 로그인과 API 키 기반 사용 중 어떤 비용·권한·감사 모델을 쓸지 먼저 정해야 한다.
Codex MCP server config.toml 설정: mcp_servers와 도구 승인 분리
Codex MCP 설정은 서버 실행 명령, 환경변수, 노출 도구, 도구별 승인 방식을 분리해야 운영이 안전하다.
Codex config.toml approval_policy and sandbox_mode 설정 가이드
~/.codex/config.toml의 approval과 sandbox 설정은 에이전트가 언제 멈추고 어떤 파일·명령에 접근할지 정한다.
Codex AGENTS.md 설정: 프로젝트 지침을 에이전트가 읽게 만드는 법
AGENTS.md는 Codex가 저장소 규칙, 테스트 명령, 금지 작업을 시작 시 읽는 가장 중요한 프로젝트 지침 파일이다.
Codex CLI install and login setup: 설치, 로그인, 버전 확인 순서
Codex CLI는 설치 방식, 로그인 방식, 실행 위치를 먼저 정해야 프로젝트별 에이전트 작업이 안정된다.
Voice와 Realtime AI Use Cases: 빠른 응답보다 중단 규칙이 먼저다
실시간 음성 AI는 지연시간이 낮을수록 유용하지만 결제, 의료, 법률, 신원확인 같은 상황에서는 중단 규칙이 더 중요하다.
Structured Outputs와 JSON Schema: 파싱 성공보다 의미 검증이 중요하다
구조화 출력은 JSON 파싱 실패를 줄여 주지만 값의 의미, 누락 필드, 업무 규칙 위반은 별도 검증해야 한다.
Retrieval과 Vector Store 거버넌스: 문서 수집보다 삭제와 버전 관리
벡터 저장소는 문서를 많이 넣는 것보다 소스 버전, 삭제 지연, 접근권한, 검색 품질을 관리할 때 신뢰할 수 있다.
RAG 평가 체크리스트: 검색이 맞았는지와 답변이 맞았는지를 나눠 보기
RAG 품질은 모델 답변만 보면 안 되고 검색 문서, 인용 위치, 누락 질문, 답변 충실도를 따로 측정해야 한다.
Prompt Engineering 체크리스트: 좋은 프롬프트보다 반복 가능한 입력 구조
프롬프트 품질은 멋진 문장보다 역할, 목적, 자료, 제약, 출력 형식이 항상 같은 순서로 들어갈 때 안정된다.
OpenAI Responses API 실무 가이드: 입력, 도구, 구조화 출력을 한 흐름으로 보기
Responses API는 모델 응답, 도구 호출, 구조화 출력, 멀티모달 입력을 하나의 워크플로우로 설계할 때 이해하기 쉽다.
NIST AI RMF Team Checklist: 거버넌스를 문서가 아니라 운영 루틴으로 만들기
NIST AI RMF는 AI 리스크를 지도화, 측정, 관리, 거버넌스 루틴으로 나눠 팀 운영에 적용하기 좋다.
Multimodal AI Workflow: 텍스트, 이미지, 음성을 한 번에 믿지 않기
멀티모달 AI는 입력이 풍부해질수록 오류 경로도 늘어나므로 텍스트, 이미지, 음성의 검증 기준을 따로 둬야 한다.
Local LLM vs Cloud LLM: 비용보다 데이터, 지연시간, 운영 책임 먼저 보기
로컬 LLM과 클라우드 LLM 선택은 가격 비교가 아니라 데이터 민감도, 지연시간, 품질, 운영 책임의 균형이다.
LLM Prompt Injection 대응: 지시문보다 권한과 데이터 경계를 먼저 막기
프롬프트 인젝션은 문장 필터만으로 막기 어렵고 도구 권한, 검색 자료, 출력 처리, 승인 흐름을 함께 제한해야 한다.
EU AI Act Business Checklist: 유럽 고객이 없어도 볼 이유
EU AI Act는 유럽 사업자만의 문제가 아니라 글로벌 고객, 공급망, 벤더 계약, 제품 문서 요구로 번질 수 있다.
AI Workflow Cost Control: 토큰보다 재시도, 검색, 검토 비용을 함께 보기
AI 비용 관리는 토큰 단가보다 재시도 횟수, 검색 저장소, 도구 호출, 사람 검토 시간이 누적될 때 중요해진다.
AI Tool Calling vs Function Calling: 모델 출력과 실제 실행을 분리하기
도구 호출은 모델이 외부 시스템과 연결되는 지점이므로 스키마, 권한, 검증, 실행 로그를 함께 설계해야 한다.
AI Search Optimization: 검색엔진보다 답변엔진이 읽기 쉬운 글 구조
AI 검색에 노출되려면 글이 질문, 짧은 답, 근거, 단계, 날짜, 출처를 명확히 드러내야 한다.
AI Sales Research Workflow: 리드 점수보다 근거와 최신성 확인
영업 리서치 AI는 리드 점수보다 출처 날짜, 회사 변화, 담당자 근거, 연락 금지 조건을 먼저 확인해야 한다.
AI Vendor Evaluation: 데모보다 데이터, 보안, 탈출 비용 묻기
AI 벤더 평가는 멋진 데모보다 데이터 처리, 모델 변경, 보안 통제, 로그, 계약 종료 시 이전 비용을 확인해야 한다.
AI Meeting Notes Workflow: 회의록을 결정, 담당자, 기한으로 바꾸기
AI 회의록은 요약보다 결정 사항, 담당자, 기한, 미해결 질문을 정확히 분리할 때 업무 가치가 커진다.
AI Contract Review 한계: 조항 요약과 법률 판단을 분리하기
계약서 AI는 조항 요약, 누락 탐지, 질문 목록에는 유용하지만 법률 판단과 협상 책임을 대신할 수 없다.
AI HR Screening Risk: 채용 자동화에서 설명 가능성과 차별 위험 보기
채용 AI는 속도보다 평가 기준, 데이터 편향, 설명 가능성, 이의제기 경로를 먼저 갖춰야 한다.
AI Health Information Triage 한계: 증상 설명과 진단을 분리하기
건강 정보 AI는 질문 정리와 일반 정보 안내에는 도움이 되지만 진단, 치료, 복용량 판단은 의료진 확인이 필요하다.
AI Evals Scorecard: 데모가 아니라 회귀 테스트로 품질을 관리하기
AI 평가는 데모 질문 몇 개가 아니라 기준 데이터, 평가자, 실패 유형, 릴리스 차단 기준을 가진 회귀 테스트여야 한다.
AI Study Tutor 설계: 정답 대신 힌트, 회상, 오답 분석
AI 튜터는 정답을 바로 주기보다 힌트 단계, 능동 회상, 오답 원인, 다음 복습 계획을 만드는 데 강점을 둬야 한다.
AI Data Privacy Redaction: 프롬프트에 넣기 전 줄여야 할 개인정보
AI 입력 데이터는 보내기 전에 목적, 최소 필요 정보, 식별자, 보관 기간을 기준으로 줄여야 한다.
AI Customer Support Knowledge Base: 답변 자동화보다 근거 연결
고객지원 AI는 빠른 답변보다 정책 문서, 계정 상태, 예외 조건, 상담원 승인 경로를 정확히 연결해야 한다.
AI Copyright와 Training Data Risk: 생성물보다 입력 자료 기록부터
AI 저작권 리스크는 생성물만 보는 것이 아니라 입력 자료의 권리, 사용 목적, 보관, 공개 범위를 함께 관리해야 한다.
AI Content Provenance: 워터마크보다 제작 경로와 검토 기록 남기기
AI 콘텐츠 신뢰성은 워터마크 하나보다 생성 도구, 원본 자료, 편집자, 검토 날짜를 함께 기록할 때 높아진다.
AI Coding Agent Workflow: 코드 품질을 잃지 않는 에이전트 사용법
코딩 에이전트는 작은 이슈, 명확한 테스트, 좁은 diff, 리뷰 가능한 커밋 단위가 있을 때 가장 안전하다.
AI Automation ROI: 자동화 전에 시간, 오류, 검토 비용부터 계산하기
AI 자동화 ROI는 절약 시간만이 아니라 검토 시간, 오류 비용, 재작업, 보안 통제 비용까지 함께 계산해야 한다.
AI Agent Workflow 2026: 자동화보다 검증 게이트 먼저 설계하기
AI 에이전트는 긴 프롬프트가 아니라 목표, 도구, 상태, 검증, 중단 규칙이 연결된 업무 시스템이다.
Human-in-the-Loop AI: 사람 검토를 병목이 아니라 안전장치로 설계하기
사람 검토는 모든 결과를 다시 읽는 일이 아니라 위험도에 따라 승인, 샘플링, 예외 처리로 나누는 통제 장치다.