Ik bereid je dataset voor op llm fine tuning of rag ingestie
Los de oorzaak op, niet de symptoom
Over deze dienst
Ik maak je dataset schoon en prepareer deze voor LLM fine-tuning of RAG ingestie, geëxporteerd in het formaat dat je trainer verwacht (JSONL / Parquet / HuggingFace / OpenAI / Axolotl / LLaMA-Factory).
Wat je krijgt:
Ontbrekende waarden behandeld, dedupliceer (exact + fuzzy), outliers aangepakt
Label audit + gestratificeerde train/val/test splits
Tekst schoonmaak: HTML strip, Unicode normaliseren, taal detectie
Formaat export voor HuggingFace Datasets, OpenAI JSONL, Axolotl, of LLaMA-Factory
Data validatie rapport (Great Expectations)
Stack: Pandas, NumPy, Polars, LangChain, LlamaIndex, HuggingFace Datasets.
Dataset grootte: 50K rijen (Basic) / 500K rijen (Standaard) / 5M rijen (Premium). RAG chunking + embedding export inbegrepen bij Premium.
Stuur me een bericht met één zin over je use case, ik reageer binnen 2 uur met een vaste prijs.
Programmeertaal:
Python
Datatype:
Tekst
AI engine:
GPT
•
Llama
•
Overige
Veelgestelde vragen
Automatische vertaling
Welke datasetformaten accepteer je?
CSV, TSV, Excel, JSON, JSONL, Parquet, en elk formaat dat compatibel is met HuggingFace Datasets. Ik accepteer ook gescrapete tekst uit PDFs, Notion exports, Confluence pagina’s, Slack Threads en klantensupport transcripts.
Kun je RAG-specifieke chunking uitvoeren?
Ja, op Premium voer ik token-aware of semantische chunking uit en exporteer embeddings in een vector-store-geschikte schema voor Pinecone, Weaviate of Qdrant met metadata bewaard voor filtering bij query.
Ondersteun je open-source modellen zoals Llama 3 of Mistral?
Ja — ik format outputs zodat ze passen bij HuggingFace chat template, Axolotl of LLaMA-Factory configs. Multi-turn conversatiestructuur wordt behouden. Lokale LLM setups (unsloth, PEFT, QLoRA) ondersteund op aanvraag.
Kun je PII of gevoelige data uit mijn dataset verwijderen?
PII scrubben (regex + spaCy NER) is beschikbaar op aanvraag — geen vervanging voor je eigen compliance review. Ondertekende NDA beschikbaar voor datatransfer.
