微調整におけるデータ品質の処理

原データ
   ↓
フォーマット統一
   ↓
簡易重複除去
   ↓
意味的重複除去
   ↓
ノイズフィルタリング
   ↓
長さ制御
   ↓
言語フィルタリング
   ↓
意味類似度検出
   ↓
困惑度フィルタリング
   ↓
最終SFTデータ

seen = set()

clean_data = []

for item in data:

    text = item["messages"][0]["content"]

    if text not in seen:
        seen.add(text)
        clean_data.append(item)

What is Python?
Explain Python.
Tell me about Python language.

embeddingを計算
↓
cosine similarity
↓
>0.9 の場合は削除

bad_words = ["I don't know", "Sorry", "Maybe"]

def is_bad(text):

    for w in bad_words:
        if w in text:
            return True

    return False

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")

tokens = tokenizer.encode(text)

if len(tokens) > 4096:
    continue

言語モデルで困惑度（Perplexity）を計算。

困惑度が高ければ、

テキストの品質が低いと判断。

user
assistant
user
assistant

user
user
assistant
assistant

roles = [m["role"] for m in messages]

for i in range(len(roles)-1):
    if roles[i] == roles[i+1]:
        return False

def score_data(question, answer):

    prompt = f"""
Rate the quality of this QA pair from 0-1.

Q: {question}
A: {answer}

Only output a number.
"""

    response = client.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role":"user","content":prompt}]
    )

    return int(response.choices[0].message.content)

原データ 100万
↓
クリーニング後 10万
↓
最終トレーニング 5万