Fiddler Auditor, sağlamlığı değerlendirmek için tasarlanmış açık kaynaklı bir araçtır. Büyük Dil Modelleri (LLM’ler) ve Doğal Dil İşleme (NLP) modelleri.
LLM’ler bazen haksız içerik üretebilir, potansiyel olarak düşmanca tepkiler oluşturabilir ve kendilerinden açıkça istenip istenmediğine bakılmaksızın eğitildikleri gizli bilgileri ifşa edebilirler.
Araç, geliştiricilerin ve araştırmacıların potansiyel zayıflıkları belirlemelerine ve LLM’lerinin ve NLP çözümlerinin performansını iyileştirmelerine yardımcı olmak için rakip örnekleri, dağıtım dışı girdileri ve dilsel varyasyonları kullanır.
Fiddler Denetçisi şunları destekler:
- Hızlı bozulma ile kullanım durumunuz için Red-teaming LLM’ler
- LangChain ile entegrasyon
- Özel değerlendirme metrikleri
- Üretken ve Ayrımcı NLP modelleri
- LLM’lerin karşılaştırılması
İşte Fiddler Denetçisi tarafından oluşturulan örnek bir rapor:
Yazılım şu adresten indirilebilir: GitHub.
