메타 프롬프팅 논문 같이 읽어 봐요.
https://arxiv.black/pdf/2401.12954 Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding

제목부터 남 다릅니다. 왜 이게 중요한지 논문 제목에서 확 짚고 넘어가네요. 모델로 부터 더 나은 응답을 얻기 위해서 태스트 중심의 프롬프트 작성에 초점이 맞춰져 왔는데, 이 논문에서는 그것을 뛰어 넘는 방법을 제시하겠다는 것.

논문 깃헙 레파지토리도 있어요. https://github.com/suzgunmirac/meta-prompting

프롬프트는 LLM같은 생성형 인공지능 모델에게 생성을 지시하는 유일한 방법입니다. 흥미 재미로 출발할 때는 대충 작성해도 잘 대답해주니 신기합니다. 하지만 업무나 조금 크고 복잡한 일을 시키려면 노력이 많이 들고 노력 대비 성과도 잘 안나는 경우에 부딪히며 ‘뭐 되는 것도 없네’라고 하면서 좌절을 떠 넘기기로 해결하고 넘어갈 때가 자주 있습니다.
프롬프트 엔지니어링까지 등장시키면서 프롬프트 작성이 어렵고 중요한 일임을 강조하면서 가는 쪽이 등장했고, 반대 쪽에 생성형 모델이 잘 하는 것이 생성이니 프롬프트 생성도 모델에게 시키면 되는 거 되지라고 생각하는 쪽이 등장했습니다.

생성형 인공지능이 업무 수준의 크고 복잡한 일에 사용된다면, 프롬프트 작성이 벽으로 등장하니, 프롬프트 자동 생성쪽을 지지하는 사람들이 점점 늘어나고 있습니다.

프롬프트는 지시 마다 작성해야 하지만, 프롬프트를 생성하는 프롬프트는 하나만 잘 만들고 부족한 부분은 프롬프트가 필요한 사람과 모델이 챗방식으로 추가적인 상호작용을 하도록 해서 채우게 하면 됩니다.

프롬프트 작성이 자동화 된다면 굳이 사람이 작성한 프롬프트를 모델에 전달할 필요가 있을까? 복잡한 일은 작은 단계로 쪼개서 해결하는 게 보통인데, 복잡한 일을 해결하기 위해 절차적으로 하던 점진적으로 하던 한 단계의 일을 지시하기 위해 프롬프트를 만들고 모델에 전달하고 응답을 받고 다음 단계를 진행하고. 이런 반복을 할 필요가 있을까?라는 의문이 들 것입니다. 목표를 주면 스스로 계획을 세워 목표를 달성하는 것을 생성형 인공지능에서는 AI 에이전트라고 하는데 프롬프트를 자동 생성할 수 있다면 AI 에이전트가 가능해 집니다. AI 에이전트는 직접 생성한 프롬프트를 주고 지시하는 AI 코파일럿 다음 단계의 생성형 인공지능 사용입니다.
생성형 인공지능 사용 단계가 AI 에이전트롤 넘어 가려면 메타 프롬프트를 작성하는 메타 프롬프팅인 너무 중요합니다.

프롬프트만 가지고 할 수 있다면 이야기는 여기서 끕납니다.
하지만 LLM과 같은 생성형 인공지능 모델은 태생적 한계를 갖는데 이를 보완하려니 모델이 잘할 수 없는 추가적인 일을 할 수 있어야 합니다. 이 문제는 자동 프로그래밍으로 해결하려고 합니다. 프로그래밍도 언어를 사용하는 것이라 그런지 언어 모델이 잘 합니다. LLM이 프로그래밍도 해서 실행할 수 있다면 문제가 해결됩니다.

1. Introduction

이 논문에서는 메타 프롬프팅이란 새로운 개념을 등장시켰으니, 메타 프롬프팅에 대해서 설명해야 겠네요.

프롬프트를 생성하는 프롬프트가 필요한 큰 이유 중 하나가 크고 복잡한 일을 하는 거 였으니, 어떤 문제가 주어지면 작은 일들로 나누는 일을 할 수 있어야 겠네요. AI 에이전트가 등장한다면, 어떤 AI 에이전트에게 어떤 일을 시킬 지 결정도 해야 합니다. 크고 복잡한 일은 혼자 하기 어려울거니 여러 역할이 기본이고, 역할이 여럿이면 협력한다는 것이니 이들의 상호작용도 관리할 수 있어야 합니다. 여러 역할들이 협력해서 해 내는 일이라면, 업무 흐름이 있을 거고 이 과정에서 여러 판단들과 결정이 이뤄져야 합니다. 이런 일을 하려면 비판적 사고, 추론 및 검증 능력을 필요합니다.

이런 일도 사람이 하는 것은 아니니 이런 AI 에이전트가 필요합니다. AI 에이전트 팀을 만들고 지시된 일을 성공적으로 완료하기 위해 AI 에이전트들을 협력하게 이들의 협력을 관리하는 역할을 관리자(또는 지휘자)라고 하면 되겠네요. 각각의 역할을 수행하는 AI 에이전트는 전문가라 하면 되겠네요.

2 Meta Prompting

크고 복잡한 생성을 해 내려면 여러 작은 생성들을 해야 합니다. 작은 생성을 위해 프롬프트를 생성합니다. 크고 복잡한 일을 해 내는 과정을 한 번에 하나의 절차로 만들어 내는 것이 아니라 한 단계씩 점진적으로 해 나가면서 상황에 맞게 점진적으로 계획하고 일을 해 나갑니다. 일의 진행 상황에 따라 어떤 일을 할 것인지 정하고, 작은 응답들을 모아서 최종 응답을 할 수 있는지도 매번 평가해야 합니다.

논문에서는 전문가 모델들이 다양한 경우를 이야기 하지만, 모델 만드는 비용이 엄청난 지금의 시점에는 관리를 잘 하는 모델이 전문적인 일도 잘한다고 보는 게 맞습니다. 잘하는 모델 하나 골라서 하면 됩니다.