Η Catala είναι μια νέα γλώσσα ειδικού τομέα που μπορεί να δημιουργεί αλγόριθμους από νομικά έγγραφα, εξασφαλίζοντας υψηλή πιστότητα μεταξύ του κώδικα και του νόμου.
Η γλώσσα είναι κατασκευασμένη έτσι ώστε να αντικατοπτρίζει τη λογική δομή του νόμου, καθιστώντας την προσβάσιμη για αναθεώρηση και πιστοποίηση από επαγγελματίες νομικούς- διαθέτει ακόμη και μεταγλωττιστή που παράγει PDF που μπορούν να διαβαστούν από δικηγόρους.
Το έργο Catala, που πήρε το όνομά του από τον Pierre Catala, πρωτοπόρο της γαλλικής νομικής τεχνολογίας, είναι μια ερευνητική πρωτοβουλία υπό την ηγεσία του Inria, του Εθνικού Ερευνητι κού Ινστιτούτου Πληροφορικής της Γαλλίας. Ωστόσο, ο μεταγλωττιστής παραμένει ασταθής και με περιορισμένα χαρακτηριστικά.
Η συζήτηση επικεντρώνεται στη χρήση της Catala, μιας γλώσσας προγραμματισμού, για τον προσδιορισμό νόμων και νομικών εγγράφων, δίνοντας έμφαση στα πλεονεκτήματα, τα μειονεκτήματα και τις πιθανές προκλήσεις της μετάφρασης της αγγλικής γλώσσας σε ένα τυπικό λογικό σύστημα.
Υπάρχει μια συζήτηση σχετικά με τη χρήση του κώδικα ως ρυθμιστικού παράγοντα, την πολυπλοκότητα του νομικού κώδικα, τη χρήση συμβόλων κωδικοποίησης στις νομικές συμφωνίες και την έννοια της κωδικοποίησης της πρόθεσης στους νόμους με τη χρήση γλωσσών προγραμματισμού.
Οι συμμετέχοντες συζήτησαν την ιδέα της συγγραφής σαφών νομικών κειμένων, το ρόλο μιας γλώσσας ειδικού τομέα για νομικές συμβάσεις, τη σύγκριση της ανάπτυξης λογισμικού με το νομικό σύστημα και τις ανησυχίες σχετικά με την επιλογή του ο νόματος για τέτοιες γλώσσες προγραμματισμού.
Το Petals είναι μια πλατφόρμα που επιτρέπει στους χρήστες να χειρίζονται μεγάλα γλωσσικά μοντέλα - όπως το Llama 2, το Falcon και το BLOOM - στις συσκευές τους χρησιμοποιώντας GPU καταναλωτικού επιπέδου ή το Google Colab.
Η πλατφόρμα επιτρέπει στους χρήστες της να ενταχθούν σε ένα δίκτυο για την εξυπηρέτηση διαφορετικών τμημάτων του μοντέλου και να προσαρμόσουν τα μοντέλα για διάφορες εργασίες, παρέχοντας τόσο ένα API όσο και ευέλικτες επιλογές με PyTorch και Hugging Face Transformers.
Το έργο του Petals έχει επισημανθεί στο ερευνητικό εργαστήριο BigScience, γεγονός που υποδεικνύει περαιτέρω τη σημαντική συμβολή του στον τομέα της ανάπτυξης γλωσσικών μοντέλων.
Το άρθρο εξετάζει τις δυνατότητες εκτέλεσης μεγάλων γλωσσικών μοντέλων (LLM) στο σπίτι με τη χρήση μιας μεθόδου τύπου BitTorrent, με τη συγκέντρωση υπολογιστικών πόρων, τη δημιουργία παράγωγων μοντέλων και τη χρήση αποτελεσματικής μεθοδολογίας λεπτομερούς ρύθμισης παραμέτρων και LoRA.
Συζητούνται οι δυσκολίες και το κόστος που σχετίζονται με την εκπαίδευση μεγάλων μοντέλων, με πιθανές λύσεις όπως η ψύξη με νερό και η τροποποίηση παλαιότερων καρτών διακομιστή. Εξετάζονται επίσης έννοιες όπως η αποκεντρωμένη υπολογιστική και η λεπτομερής ρύθμιση των μοντέλων.
Υπάρχει αναφορά στο Petals, μια υπηρεσία για την εκτέλεση LLMs σε συσκευές χαμηλού επιπέδου, με ανάμεικτες κριτικές μεταξύ των συμμετεχόντων. Το άρθρο κάνει εικασίες σχετικά με την πιθανή χρήση tokens και αποκεντρωμένων υπολογιστών για την υποστήριξη LLM ανοιχτού κώδικα στο μέλλον.