低スペックVPSで動かす
RAGエンジンの設計と実装

contexts = []
for doc, meta, dist in zip(res["documents"][0],
                            res["metadatas"][0],
                            res["distances"][0]):
    if dist < EMBED["distance_threshold"]:   # ← 閾値未満のみ採用
        contexts.append({
            "text":     doc,
            "url":      meta.get("url", ""),
            "title":   meta.get("title", ""),
            "distance": round(dist, 4),
        })

MAX_CONTEXT_TOKENS = LLM["n_ctx"] - LLM["max_tokens"] - 200  # 余裕を持たせる

def trim_contexts(contexts, question):
    base_prompt  = f"質問: {question}\n回答: "
    base_tokens  = len(llm.tokenize(base_prompt.encode()))

    trimmed, used_tokens = [], base_tokens
    for ctx in contexts:
        ctx_tokens = len(llm.tokenize(ctx["text"].encode()))
        if used_tokens + ctx_tokens > MAX_CONTEXT_TOKENS:
            break               # 超えたらそこで打ち止め
        trimmed.append(ctx)
        used_tokens += ctx_tokens
    return trimmed

token_queue = queue.Queue()

def _llm_stream(prompt, token_q):
    for llm_chunk in llm(prompt, max_tokens=LLM["max_tokens"],
                       temperature=LLM["temperature"], stream=True):
        token = llm_chunk["choices"][0]["text"]
        token_q.put(token)

        # max_tokens超過の検出
        finish = llm_chunk["choices"][0].get("finish_reason")
        if finish == "length":
            token_q.put("\n\n（※ 回答が長くなったため省略されました）")
    token_q.put(None)   # 終端シグナル

# 別スレッドで推論を開始
thread = threading.Thread(target=_llm_stream, args=(prompt, token_queue), daemon=True)
thread.start()

# asyncio側: run_in_executor で queue.get をノンブロッキングに
loop = asyncio.get_running_loop()
while True:
    token = await loop.run_in_executor(None, token_queue.get)
    if token is None:
        break

token_buf  = ""
answer_buf = []   # 全文収集（ログ保存用）

while True:
    token = await loop.run_in_executor(None, token_queue.get)
    if token is None:
        break
    token_buf  += token
    answer_buf.append(token)

    # 8文字 OR 句読点でフラッシュ
    if len(token_buf) >= 8 or token in ("。", "、", "\n"):
        await send({"type": "token", "content": token_buf})
        token_buf = ""

# 残りを送出
if token_buf:
    await send({"type": "token", "content": token_buf})