Autoresearch per l'Efficienza del Campione!
Ho preso l'autoresearch di @karpathy e ho cambiato l'obiettivo per minimizzare la perdita di validazione per un budget fisso di 10 milioni di token.
L'ho eseguito durante la notte e il sistema ha scoperto modifiche che hanno portato a un miglioramento del 14% rispetto alla baseline.
Incredibile!
Le influenze subconscie sono reali?
Ho aggiunto un nuovo esperimento a Vibe Psychophysics!
I miei risultati hanno mostrato che una parola lampeggiata troppo brevemente per essere notata ha aiutato ad accelerare il riconoscimento di una parola correlata (rispetto a una non correlata). Questo dimostra che gli effetti di priming sono reali!
Abbiamo fatto parlare i LLM in Tulu, una lingua con solo 2 milioni di parlanti.
Non è stato facile perché i LLM continuavano a confonderlo con il Kannada, ma abbiamo scoperto che le restrizioni negative aiutano davvero.
🚨 Nuovo documento
Addestrare un LLM a parlare una lingua a bassa risorsa
(Workshop EACL, 2026)
Il Tulu è parlato da oltre 2 milioni di persone nella costa del Karnataka e gli LLM fondamentalmente non riescono a parlarlo. Siamo arrivati all'85% di accuratezza grammaticale senza fare alcun fine-tuning o raccogliere un singolo nuovo esempio di addestramento.