data2prompt: Veri Ağırlıklı Projeleri LLM Bağlamına Sığdıran CLI Aracı
data2prompt CLI aracı, CSV, Excel ve SQLite gibi veri dosyalarını profilleyip örnekleyerek LLM bağlam penceresine sığan yapılandırılmış belgeler üretir.
data2prompt, CSV, Excel, SQLite ve Jupyter defterleri içeren veri ağırlıklı projeleri tek bir komutla LLM'e verilebilecek yapılandırılmış bir belgeye dönüştüren açık kaynaklı bir CLI aracı. Genel repo-to-prompt araçları veri dosyalarını düz metin gibi işleyip devasa çıktılar üretirken, data2prompt her tabloyu tam veri seti üzerinden profiller (şema, veri tipleri, eksik değer istatistikleri) ve gerçek satırlardan tohumlu rastgele örnekler alır.
Araç, --budget parametresiyle çıktıyı istenen token sayısına sığdırmak için örnek boyutlarını küçültme, istatistik bloklarını kaldırma ve gerekirse dosyaları atlama gibi adımları içeren bir kademeli azaltma stratejisi uygular; her adımda belge yeniden oluşturulup gerçek token sayısı ölçülür. Her müdahale (örnekleme, kesme, redaksiyon) belge içinde standart bir bildirim biçimiyle açıkça belirtilir, böylece model neyi görmediğini bilir.
SQLite dosyaları salt okunur modda açılıp tam CREATE TABLE DDL'leriyle sunulurken, Parquet/Feather/Arrow desteği isteğe bağlı pyarrow eklentisiyle sağlanıyor. Mühendisler için önemi, büyük veri projelerinin LLM tabanlı analiz veya kod üretim iş akışlarına, bilgi kaybı olmadan ve bağlam penceresi sınırlarını aşmadan dahil edilebilmesi.