일단 이건 Llama 3 전용 jinja 기본 템플릿 github에서 퍼온거

{{ bos_token }}

{% if messages[0]['role'] == 'system' %}

    {% set loop_messages = messages[1:] %}

    {% set system_message = '<|start_header_id|>' + 'system' + '<|end_header_id|>\n\n' + messages[0]['content'].strip() + '<|eot_id|>' %}

{% else %}

    {% set loop_messages = messages %}

    {% set system_message = '' %}

{% endif %}

{% for message in loop_messages %}

    {% if (message['role'] == 'user') != (loop.index0 % 2 == 0) %}

        {{ raise_exception('Conversation roles must alternate user/bot/user/bot/...') }}

    {% endif %}

    {% if loop.index0 == 0 %}

        {{ system_message }}

    {% endif %}

    {{ '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n' + message['content'].strip() + '<|eot_id|>' }}

    {% if loop.last and message['role'] == 'user' and add_generation_prompt %}

        {{ '<|start_header_id|>' + 'assistant' + '<|end_header_id|>\n\n' }}

    {% endif %}

{% endfor %}

요청 자체는 되긴함 (위에 템플릿 내용 제대로 안살펴봐서 제대로 되는지는 모르겠음)

근데 응답을 불러올떄 안됨

10분만에 고쳐짐 ㄷㄷ