It is llama3-8B so it is not out of question but I am not sure how much memory you would need to really go to 1M context window. They use ring attention to achieve high context window, which I am unfamiliar with but that seems to lower greatly the memory requirements.

To actually read how they did it, here is there model page: https://huggingface.co/gradientai/Llama-3-8B-Instruct-Gradient-1048k

Approach:

• meta-llama/Meta-Llama-3-8B-Instruct as the base
• NTK-aware interpolation [1] to initialize an optimal schedule for RoPE theta, followed by empirical RoPE theta optimization
• Progressive training on increasing context lengths, similar to Large World Model [2] (See details below)

Infra

We build on top of the EasyContext Blockwise RingAttention library [3] to scalably and efficiently train on contexts up to 1048k tokens on Crusoe Energy high performance L40S cluster.

Notably, we layered parallelism on top of Ring Attention with a custom network topology to better leverage large GPU clusters in the face of network bottlenecks from passing many KV blocks between devices. This gave us a 33x speedup in model training (compare 524k and 1048k to 65k and 262k in the table below).

Data

For training data, we generate long contexts by augmenting SlimPajama. We also fine-tune on a chat dataset based on UltraChat [4], following a similar recipe for data augmentation to [2].

tl;dr parce qu’une rumeur dit que si t’as plus de matchs, ça booste ton profil, et que les hommes gays matchent plus facilement d’autres hommes. Donc l’astuce consistait à se mettre en “homme cherche homme” un moment, booster son profil et se remettre en mode hétéro.

C’est probablement complètement contre-productif:

Auparavant, l’algorithme Tinder était basé sur le système de notation Elo pour mesurer la popularité d’un profil, qui accordait un score à chaque individu en fonction des “likes” reçus. Un système qui a été abandonné en 2019.

Tant que c’était du Elo (algo complètement con pour un site de rencontres doit dit au passage) ça se défendait, mais comme ils sont probablement passés à un algo plus classique de préférences “d’achat”, ça diminue probablement leurs chances.

Les droits de l’homme te donneront pas à manger.

Leur suppression non plus. Bordel. Les droits sociaux, par contre, eux te donneront à bouffer.

Quand y a un parti qui a littéralement l’augmentation de ton salaire dans le programme et que tu vas voter pour le parti qui a déjà voté contre, au bout d’un moment, j’ai du mal à croire que la question c’est ton salaire.

I know. But we know it is “just” an engineering problem which can be solved at a high cost.

« Le RN, en faisant par exemple de la voiture un thème politique, a réussi à créer une proximité avec les classes moyennes, qui se sentent enfin prises en compte. »

(╯°□°)╯︵ ┻━┻

Si ta bagnole est plus importante que les droits de l’homme, t’es un putain de fasciste.

Bisou d’un CSP+ (rural et dépendant de sa voiture) qui se déclasse tout seul depuis des décennies mais qui a apparemment une mutation rare qui le fait pas devenir raciste pour autant.

Faut arrêter avec ce délire du “ah ben si les gens deviennent pauvre c’est normal aussi de s’en prendre aux Arabes et aux homos”. Je veux bien qu’on constate une corrélation, mais le mécanisme de cause à effet n’est absolument pas évident et ça se trouve n’est pas dans ce sens là.

Tenez, je propose une autre explication, tout aussi peu étayée, mais tout aussi conforme avec les observations:

C’est parce que la majorité de la population rejette les idées de gauche que le déclassement touche tant de gens. Il se trouve que pourrir la vie des étrangers n’a aucun effet économique positif, et que la redistribution aiderait vachement plus, mais comme la majorité de la population est séduite par des explications racistes et xenophobes, préfère accuser le wokisme plutôt que la casse du droit du travail, il y a en effet une montée des déclassements au fur et à mesure que monte le vote de droite et d’extrême droite.

J’ajouterais que le rejet de la gauche “modérée” comme équivalente au neolibéralisme forcené participe également au phénomène.

et devrez repasser par une longue et coûteuse procédure judiciaire (1 à 2 ans).

La faute à qui si ça prend du temps? Financez mieux les tribunaux.

Pour la droite, la liberté c’est toujours la liberté d’exploiter son prochain.

Fusion is a field where you can’t have the “statup mindset”: investments are in hundreds of millions and take at best a decade (and most likely two) to pay off. That’s one field where it can’t go anywhere without public funding.

It is very possible that China gets there first, considering how ridiculous western fusion efforts have been.

Bien sur qu’un ouvrier est moins productif après 10h de boulot dans la journée, mais l’idée était que si tu peux extraire de la valeur d’un ouvrier crevé quand même. Exploiter une heure de plus pour extraire 30 mins de travail utile, ça reste un profit!

On a montré depuis que la productivité totale d’un employé qui fait de petites heures est supérieure à celle d’un employé fatigué. On l’a montré plusieurs fois, en ce moment autour de la semaine de 4 jours. Il se trouve que le patronat n’est pas spécialement intéressé par les faits. Et oui, Ford a montré que bien des idées reçues par le patronat sont fausses. On a découvert depuis que contrairement à la légende, l’exploitation n’est pas rationnelle et une pure optimisation de l’organisation du travail par des individus recherchant le profit, mais que dans la classe dominante, l’exploitation avait une valeur en soi. Le refus du télétravail l’a montré, Bullshit Jobs l’a étudié: foutre des gens au boulot sous tes ordres est une chose pour lesquelles les employeurs sont prêts à payer.

Sur la valeur: elle n’est pas intrinsèque,

Quand on parle de valeur intrinsèque, on parle de l’utilité: combien une pomme rassasie, combien une couverture chauffe, etc. C’est extrêmement dur à mesurer, mais c’est une notion qui a un sens. L’utilité d’un walkman par exemple est similaire qu’il coûte trois mois de salaires ou qu’il soit offert dans un paquet de céréales.

Si on garde les yeux sur la valeur intrinsèque, on vit d’une façon extrêmement confortable par rapport à il y a un siècle ou deux. La première salle de bain moderne venue ferait envie à la cour de Louis XIV. Le confort et la vitesse d’une voiture incomparable aux carrioles d’antan, et la connaissance, quasi-gratuite, là où un livre coutait autrefois un mois de salaire.

Il est presque déjà possible de vivre confortablement avec “rien”, entre RSA et chomage on peut presque dessiner une forme de revenu universel. Il ne manque pas grand chose pour y être.

Il y a beaucoup de légendes primitivistes sur le sujet. Les ouvriers au moyen age travaillaient en général tant qu’il faisait jour (les chandelles sont chères!) et je doute qu’on laissait les esclaves se la couler douce sous l’empire romain.

Mesuré comment?

Soixante ans de réduction du temps de travail dans le monde

mais en prenant le niveau de vie median des années 80 et l’augmentation de productivité depuis, on pourrait bosser genre 20h par famille.

On a préféré augmenter le confort que réduire le temps de travail. Il y a aussi la question du logement qui me semble là être un cas de manque artificiel.

soit on automatise (changement profond du système capitaliste avec ou sans exploitations)

Désolé de préférer cette alternative!

Faudra m’expliquer les actuelles reformes du chômage et des retraites.

Eh bien elles vont à rebours de la tendance à long terme, ce qui n’est pas surprenant quand on élit des réactionnaires et des conservateurs. Il y a un pseudo-argument à la réforme des retraites qui est que le temps de vie s’allongeant, la durée de cotisation doit le faire pour conserver le même %age du temps de vie au travail mais en vérité la tendance voudrait soit qu’on revienne à 60 ans, soit qu’on passe à la semaine de 32h.

Développe stp

Ça redéfinit un point fondamental du contrat social qui est que les denrées nécessaires sont fournies en échange d’un travail productif. Si aujourd’hui un travailleur fournit de quoi vivre à deux personnes (à peu près ce qu’on a aujourd’hui, avec 45% de population active) ton équation change radicalement quand un travailleur peut en fournir à 10 parce que son travail a été démultiplié. À un moment il faut accepter que forcer tout le monde à être au travail ne sera plus nécessaire.

On a quelque part de la chance car en ce moment la population active diminue pour raisons démographique et que ça va continuer un moment, mais à un moment il va falloir accepter une de ces choses ou une combinaison d’icelles:

• normaliser le fait de ne pas travailler quand on est “en âge de le faire”.
• abaisser drastiquement l’âge de la retraite.
• diminuer le temps de travail.

Et on va vers ces choses là d’autant plus vite qu’on automatise la production.

Bon, avec GPT-4 comme base c’est la merde: dés qu’on lui demande des détails il invente.

https://chatgpt.com/share/fd0babde-1d2c-4bc8-8868-31f6939292fd

Il m’invente des formations et c’est à peine s’il me donne pas un cursus complet avec prise de RDV. Il va falloir d’autres modèles je pense.

EDIT: Je suis en train d’adapter un peu la prompt, ça se passe mieux maintenant.

Je le serais si j’étais salarié ou si mes clients étaient en France. Le syndicalisme m’intéresse beaucoup et si tu connais bien, j’ai une question. La charte d’Amiens parle de trucs qui m’interpellent mais dont je ne vois aucune traduction concrète alors que le temps me semble pourtant venu:

La CGT groupe, en dehors de toute école politique, tous les travailleurs conscients de la lutte à mener pour la disparition du salariat et du patronat.

…

il considère que le syndicat, aujourd’hui groupement de résistance, sera, dans l’avenir, le groupement de production et de répartition, base de réorganisation sociale.

On peut en parler à un moment de cette étape? Non parce que dans l’informatique, le mouvement open source me semble être une concrétisation de cet idéal, et les modèles de coopératives, SCOP, SCIC me semblent également un outil populaire pour atteindre ces objectifs, et c’est à mon sens le seul moyen de ne pas subir la transformation IA+robotique qui s’annonce.

On travail toujours autant

Euh, non? On travaille moins mensuellement, quotidiennement, et en pourcent de la vie vécue. On travaille beaucoup moins physiquement (même si on n’a pas supprimé le travail physique). Je rappelle que les premiers combats ça a été de reconnaître le droit aux retraites et aux pensions d’invalidité, d’interdire le travail des enfants. La première limitation du temps de travail a été 12h par jour et un jour férié par semaine.

Car c’est l’etre humain et uniquement lui qui crée de la valeur et peut permettre aux capitalistes de s’enrichir.

Oui mais pas dans le sens où tu l’entends. C’est la consommation qui donne de la valeur, mais que le produit soit fait par une machine ou un humain, le marché s’en fout. Ce qui change par contre, c’est que s’il n’y a pas d’humain dans la chaine, la compétition tire les prix vers le bas et rend très bon marché les produits. L’être humain donne une valeur marchande, mais la valeur intrinsèque, elle, reste.

Les etre humain feront donc juste d’autre boulots de merde

Cette fatalité me gonfle. Si le boulot est inutile, arrêtez de vouloir à tous prix mettre les humains au taf’! Un autre monde est possible bordel.

Sans compter que c’est aussi un moyen de freiner des luttes a grand coup de techno-solutionisme.

C’est au contraire un putain de coup d’accélérateur.

Le temps de travail descend régulièrement depuis qu’on mécanise le travail et le niveau de vie monte. L’émancipation promise, elle vient.

Après, on aurait sûrement pu s’affranchir du travail y a 20 ans à peu près je pense. Oui, ça demande une évolution culturelle qui n’arrive pas automatiquement dés que la technique la rend possible, mais au bout d’un moment la technique va la rendre inévitable.

Je préférerais que ce soit souhaité plutôt que subi, mais si l’alternative c’est que ça n’arrive jamais, eh bien tant pis, ce sera subi.

Ça fait 15 ans que je vois un nœud gordien: personne (du coté syndicats surtout) ne croit l’automatisation du travail possible, donc personne ne s’y prépare mais quand on propose des avancées on entend dire qu’on peut pas, on est pas prêt!

Le but n’est pas de remplacer ça, mais de remplacer les humains qui les chargent, les déchargent, prépositionnent les éléments, nettoient les parts, les emballent, etc…

Bien sur que le contrôle qualité doit être déterministe. Et ça, ça vaut que la prod soit humaine ou automatisée.

Haha, oui, je pense pas résoudre le problème du jailbreaking en 48h! Si les gens ont envie d’utiliser ça comme un ChatGPT classique, je t’avoue que ça m’embete pas plus que ça.