| 전략 | 핵심 인사이트 | 주의할 점 |
|---|---|---|
| 컨텍스트 관리 | 문서는 상단에, 질문은 하단에 | 관련 없는 정보 채우기 |
| 온도 | 높다고 더 창의적인 게 아님; 더 무작위한 것 | 높은 온도에서 환각 위험 |
| 병렬 처리 | 독립적 작업은 동시에 실행 가능 | 속도 제한, 에러 처리 |
1. 컨텍스트(Context) 관리: 긴 맥락 정보를 효과적으로 관리하기
현대 모델은 매우 긴 입력을 처리할 수 있지만, 모든 것을 프롬프트에 넣어야 한다는 뜻은 아니에요. 더 많은 맥락이 자동으로 더 좋은 맥락은 아니거든요.1) 문서 배치 규칙: 위치가 왜 중요한가
정보를 어디에 놓느냐가 중요해요. 긴 문서는 프롬프트 상단에, 질문/지시는 프롬프트 하단에 배치하세요. 역순 배치 대비 성능이 최대 30% 개선될 수 있다고 합니다. 모델은 응답을 생성할 때 최근 토큰에 더 강하게 주의를 기울이기 때문이에요.<document>
{{매우_긴_문서}}
</document>
위 문서를 기반으로 이 질문에 답해줘:
{{사용자_질문}}
문서 배치를 비유하면, 시험에서 지문과 문제의 순서와 같아요. 긴 지문을 먼저 읽고 마지막에 문제를 보면 “무엇을 찾아야 하는지”가 머릿속에 선명해요. 문제를 먼저 보고 긴 지문을 읽으면 핵심을 놓치기 쉽죠.
2) 깎아내기: 불필요한 것을 제거하기
맥락을 조각상처럼 생각하세요. 가진 모든 것을 쌓는 게 아니라, 속하지 않는 것을 제거하는 거예요. 흔한 맥락 실수에는 중복된 지시, 오래된 제약, 관련 없는 엣지 케이스, 혼합된 대상이 있어요. 긴 문서를 보내기 전에 물어보세요.- 모든 정보들이 이 작업에 관련되어 있는가?
- 배경 정보를 요약하여 제공할 수 있는가?
- 부록이나 참고 자료가 있는가?
맥락 정리를 비유하면, 여행 가방 꾸리기와 같아요. “혹시 모르니까” 하고 다 넣으면 가방이 무거워지고 정작 필요한 것을 찾기 어려워요. 꼭 필요한 것만 넣으면 가볍고 효율적이죠.
3) 구조로 데이터 관계를 명확히 하기
긴 맥락이 실패하는 가장 흔한 이유는 정보가 너무 많아서가 아니라, 모델이 서로 다른 정보가 어떻게 관련되는지 판단할 수 없기 때문이에요. 여러 데이터 포인트가 비구조화된 블록으로 제시되면, 모델은 무엇을 비교하는지, 어떤 것이 배경이고 어떤 것이 주요 데이터인지, 어떤 숫자가 결론에 영향을 줘야 하는지 추측해야 해요.<current_quarter_data>
매출: 21억 원
이탈률: 4.2%
</current_quarter_data>
<previous_quarter_data>
매출: 17억 원
이탈률: 5.1%
</previous_quarter_data>
<industry_benchmark>
평균 SaaS 이탈률: 5~7%
</industry_benchmark>
4분기 성과를 3분기 및 업계 벤치마크와 비교해줘.
데이터 관계 명확화를 비유하면, 엑셀에서 시트를 나누는 것과 같아요. “이번 분기”, “지난 분기”, “업계 평균”을 한 셀에 다 넣으면 분석이 어렵지만, 시트를 나누고 라벨을 붙이면 비교 분석이 한눈에 돼요.
2. 온도(Temperature) 설정: AI 무작위성 제어하기
팀이 더 창의적이거나 다양한 출력을 원할 때, 기본 반응은 온도를 높이는 거예요. 효과가 있지만 위험이 따르죠.1) 거대 언어 모델(LLM)에서 온도가 실제로 하는 일
온도(Temperature)는 토큰 선택의 무작위성을 제어해요.- 낮은 온도 (0~0.3): 더 결정적, 확률이 가장 높은 토큰 선택
- 높은 온도 (0.7~1.0): 더 무작위, 확률이 낮은 토큰도 고려
- 환각 정보: 존재하지 않는 이름, 제품, 사실)
- 품질 저하: 문법적으로 어색하거나 비일관적 출력)
- 일관성 저하: 품질 통제가 어려운 극도로 다른 출력)
2) 높은 온도 없이 다양한 출력을 얻는 방법
온도를 높이는 것은 다양성을 얻는 가장 둔탁한 방법이고, 가장 신뢰할 수 없는 방법이기도 해요. 품질이나 일관성을 희생하지 않고 다양성을 원한다면, 이 기법들이 더 효과적이에요.| 기법 | 작동 방식 | 사용 시점 |
|---|---|---|
| 입력 순서 섞기 | 리스트 재배열로 모델이 다른 요소에 집중 | 여러 옵션, 기능, 데이터 포인트가 있을 때 |
| 표현 바꾸기 | 같은 질문을 다른 각도에서 | 다양성이 무작위가 아닌 관점에서 와야 할 때 |
| 명시적 다양성 제약 | 중복과 반복을 피하라고 직접 지시 | 출력이 서로 명확히 달라야 할 때 |
| 생성 후 필터 | 여러 후보를 만들고 최선을 선택 | 속도보다 품질이 중요할 때 |
3. 병렬 프롬프트 처리: AI 워크플로우 속도 높이기
일부 작업은 서로 의존하지 않아요. 서로 독립적으로 수행할 수 있을 때는 안전하게 병렬 처리할 수 있죠. 여러 문서를 독립적으로 리뷰하거나, 대안 접근법을 나란히 생성하거나, 같은 입력에 대해 별도 분석을 실행하는 것이 예시예요. 리서치 종합, 경쟁 분석, QA 및 검증 작업에 특히 유용하죠. 중요한 제약은 독립성이에요. 한 작업이 다른 작업의 출력에 의존하면, 병렬화는 품질을 해쳐요.1) 어떤 작업을 병렬화할 수 있는가
서로의 출력에 의존하지 않는 독립적 작업이 대상이에요.순차(느림):
파일 A 읽기 → 처리 → 파일 B 읽기 → 처리 → 파일 C 읽기 → 처리
병렬(빠름):
파일 A 읽기 → 처리 ─┐
파일 B 읽기 → 처리 ─┼→ 결과 결합
파일 C 읽기 → 처리 ─┘
병렬 처리를 비유하면, 팀 과제 분업과 같아요. 한 사람이 리서치, 작성, 디자인을 순차로 하면 3배 오래 걸리지만, 3명이 동시에 나눠 하면 시간이 1/3로 줄어요. 단, 각자의 파트가 독립적이어야 나중에 합칠 수 있죠.
2) 3가지 프롬프트 병렬화 패턴
멀티 문서 분석: 각 문서를 동일한 프롬프트로 독립적으로 요약한 후, 모든 요약을 종합해요. 앞선 문서가 이후 문서의 해석에 편향을 주는 것을 방지하죠. 멀티 관점 평가: 같은 입력을 다른 역할이나 렌즈에서 병렬로 평가한 후, 관점을 결합해요. 각 관점이 다른 우선순위를 적용하고, 단일 관점이 너무 일찍 지배하지 않으며, 종합 시 이견이 명시적이 되죠. 배치 분류: 각 항목을 동일한 기준으로 독립 분류한 후, 결과를 집계해요. 항목이 서로 영향을 주지 않고, 일관성이 항목 간 추론보다 중요하며, 처리량이 병목일 때 이상적이에요.3가지 패턴을 비유하면, 시험 채점 방식과 같아요. 멀티 문서 분석은 각 답안을 독립 채점 후 종합하는 것, 멀티 관점 평가는 같은 답안을 여러 교수가 다른 기준으로 보는 것, 배치 분류는 같은 기준으로 수백 장을 빠르게 통과/탈락 판정하는 거예요.
3) 구현 팁: 속도 제한과 에러 처리
실전에서 몇 가지 주의할 점이 있어요. API 속도 제한을 확인해야 100개 병렬 요청이 차단되지 않아요. 비용은 병렬이라고 줄지 않고, 돈으로 시간을 사는 거예요. 에러 처리가 중요한데, 하나의 실패가 전체 배치를 무너뜨리면 안 돼요. 결과 순서도 주의해야 하는데, 병렬 결과는 순서 없이 돌아올 수 있어서 어떤 것이 어떤 것인지 추적해야 해요.구현 주의사항을 비유하면, 식당에서 동시에 여러 테이블 주문을 넣는 것과 같아요. 주방에 한꺼번에 너무 많이 넣으면(속도 제한) 주방이 마비되고, 어떤 요리가 어느 테이블 건지(결과 순서) 혼동되면 서비스가 엉망이 되죠. 적절한 양을 관리하면서 추적하는 게 핵심이에요.다음 편에서는 프롬프트 성능 평가 방법, 모니터링, 실전 체크리스트를 살펴볼게요.
프롬프트 엔지니어링 시리즈
(4) 사고 사슬(CoT), 역할 프롬프팅, 프롬프트 체이닝