Open API를 기반으로 한 LLM의 프롬프팅은 놀랍다. 하지만

나에게 친숙한 업비트 코인 가격조회 api를 통해,

langchain / langflow를 써서, 업비트의 코인코드 확보 및 가격조회 api 두개를 tool로 사용하여

 

실시간으로 코인 가격을 얻어오는 agent 데모를 만들었다.

일종의 자가 chatgpt plugin이라 하겠다

 

 

상당한 복잡한 패턴의 시나리오까지 금방 소화해버림,

채팅봇 기반으로 만드려면 시나리오 조건이나 파라미터 지정, 필드 지정에 대한 노가다 난이도가 미쳐버리는데,

이것으로는 GET api를 포함해서 30분도 안걸렸다.

 

그런데 문제가 뭐냐하면...

 

hallucination, 즉 "구라"가 자꾸 튀어나오는 것이다

프롬프팅 튜닝을 통해 막으면, 기존에 잘되던게 안되기도 하는, 원인 추적불가 사이드이펙트가 나타나고

무엇보다도 정의하지 않은 모든 형태의 요청조건에 대해 할루시에이션이 생기는걸 막을수 없다.

 

프롬프팅에서 제대로 가이드하지않으면 모르는부분을 어떻게든 거짓말을 쳐서 답변하려는

잘못된 면접후보생 같은 태도를 보이는것이다.

 

그러면 뭐가 문제냐면,

비지니스로 사용할수가없다.

 

예상치 못한 결함과 오차가 언제든 발생한다는 전제로 사용해야하는데,

그럼 농담따먹기 말고 비지니스에서 사용할 방법이 있을까?

 

두번째로는, 느리다는것,

룰기반으로 하면 1초도 안되서 나올 간단한 답이 20~30초 걸리는것..

하이퍼클로바x도 마찬가지.

 

 

일반적인 대화 agent로서, 고객센터의 대체제로서는

아직은 LLM은 쓰지 못하는게 아닐까.

 

 

시간이 허락하면

랭체인과 랭플로우를 쓰는 방법을 정리 해볼 예정