Regressió agressiva

· 17 min read

testing elixir programming opinion ai llm hacking

Also available in: en es ru

Hi ha una espècie particular d'enginyer que, quan li demanen si la base de codi té tests de regressió, respon: «tenim un noranta-quatre per cent de cobertura». Això equival si fa no fa a respondre a la pregunta «tens la casa assegurada contra incendis?» amb «tinc onze detectors de fum i els trec brillantor cada setmana». Totes dues afirmacions habiten en el mateix veïnat general de preocupacions, però ni tan sols estan emparentades de lluny, i només una d'elles importarà la nit que la cuina s'encengui en flames.

Permeteu-me establir la tesi d'entrada, amb l'esperança que sobrevisqui intacta al viatge cap a la secció de comentaris:

Cada test de regressió és un test, però no tot test és un test de regressió.

Això no és pas un aforisme enginyós. És una afirmació sobre conjunts, i és la mena d'afirmació davant la qual la majoria dels equips assenteix dòcilment per després trepitjar-la d'immediat durant els propers quatre anys.


La taxonomia que ningú no es va molestar a aprendre

Un test és qualsevol fragment de codi que falla quan alguna cosa va malament. Un test de regressió és un fragment de codi que falla quan una cosa que solia funcionar deixa de funcionar. La segona categoria és un subconjunt estricte de la primera, i és un subconjunt molt més petit del que insinua la vostra insígnia de cobertura.

La distinció rau sencera en el verb «solia». Un test de regressió és un monument commemoratiu. Commemora un moment específic de la història en què el programari era demostrablement correcte, i fa guàrdia sobre aquell instant mentre el projecte mantingui l'alè. És, en el sentit més literal, memòria institucional codificada com un artefacte executable; cosa que la converteix en l'única classe de memòria del vostre equip que no dimiteix, no es jubila ni ho oblida tot després d'un cap de setmana llarg.

La major part del que escrivim no és pas això. La major part del que escrivim és un desenvolupador que es tranquil·litza a si mateix, a les dues de la tarda, que la funció que acaba d'escriure fa allò que pensava que havia de fer mentre l'escrivia. És una activitat perfectament respectable. També és una tautologia amb bata de laboratori.

Els tests unitaris són gairebé sempre miralls

Vet aquí la veritat incòmoda sobre el test unitari mitjà: afirma que la implementació fa el que la implementació fa. L'autor va escriure la funció, després va escriure un test derivat de la funció que acabava de parir i més tard va expressar sorpresa quan tots dos van coincidir. No haurien discrepat mai. Van ser concebuts en els mateixos cinc minuts, pel mateix cervell, sota el mateix malentès. Fins i tot un desenvolupador mediocre com jo és capaç d'escriure una funció senzilla sense espifiar-la.

Un test unitari sol ficar les mans fins al fons. Coneix les funcions auxiliars privades del mòdul, la forma del seu acumulador intermedi, l'ordre exacte en què recorre una llista. Té intimitat amb detalls que cap client del codi observarà mai, i per tant és fràgil exactament als indrets on més voldries llibertat de moviments. Refactoritza l'acumulador d'una llista a un mapa, sense canviar absolutament res del comportament observable, i contempla com quaranta tests es tenyeixen de vermell mentre el programari resta impecable. Això no és pas una xarxa de seguretat. És un cable parany que has instal·lat al teu propi passadís.

I tot l'edifici descansa sobre la imaginació de l'autor. El test unitari comprova les tres entrades en què va pensar per casualitat. L'error, amb l'instint infal·lible d'un gat que troba l'única persona al·lèrgica a l'habitació, viu a la quarta.

Per això un sol test basat en propietats val més que un sac d'exemples teclejats a mà. En lloc d'enumerar allò que se't va acudir per atzar, declares la llei que la funció ha d'obeir i deixes que la màquina busqui el contraexemple amb una diligència de la qual cap ésser humà disposa a les quatre de la tarda d'un divendres.

Considereu l'enfocament artesanal habitual:

test "encodes and decodes" do
  assert "abc" == decode(encode("abc"))
  assert "" == decode(encode(""))
  assert "hello world" == decode(encode("hello world"))
end

Tres assercions, totes triades per un ésser humà que ja sabia per endavant com funcionava el codificador. Compareu amb això:

property "decode/1 is the left inverse of encode/1" do
  check all input <- StreamData.string(:printable) do
    assert input == input |> encode() |> decode()
  end
end

Una sola declaració, infinites assercions i —aquesta és la part que la gent subestima— un reductor automàtic ( shrinker ) que et lliurarà l'entrada fallida mínima en lloc de la vòmit de 4 KiB que va generar la fallada original. Això sí que és un gos d'aturall. L'altre és una foto d'un gos enganxada a la reixa.


Elixir no et deixa provar funcions privades, i això és una benedicció

Cada pocs mesos, algú aterra als fòrums amb una pregunta redactada com un informe d'error: «Com provo una defp ?». Les respostes són pacients i qui pregunta rarament queda satisfet, perquè la resposta honesta sona a obstruccionisme: no ho fas, i no hauries de voler fer-ho.

Una funció privada, per construcció, no forma part del teu contracte. És una bastida. Existeix perquè et vas cansar d'una funció de quaranta línies i la vas partir per la meitat, o perquè et calien les mateixes tres línies dues vegades. Ningú fora del mòdul no pot cridar-la, ningú fora del mòdul no pot observar-la i ningú fora del mòdul prendrà mal si la substitueixes. No té comportament en el sentit que importa: només té implementació, i la implementació és precisament allò que acabem d'acordar no provar.

El llenguatge no s'està pas fent l'orni. T'està dient alguna cosa: si sents una necessitat imperiosa de provar una funció privada de manera aïllada, has descobert una tensió de disseny, no pas una mancança de les eines. Una d'aquestes tres coses és veritat:

Hauria de ser pública. Allò que intentes acorralar és en realitat part del contracte del mòdul, i has estat amagant-te la teva pròpia API a tu mateix per un sentit de l'ordre equivocat. Fes-la pública, documenta-la i prova-la com l'entitat pública que sempre ha estat.

Hauria de ser un mòdul propi. L'assistent privat ha desenvolupat personalitat: el seu propi vocabulari, les seves pròpies invariants, els seus propis motius per canviar. És un mòdul que intenta néixer. Fes-lo néixer. Ara té una interfície pública i provar-lo ja no suposa cap crisi filosòfica.

No s'hauria de provar en absolut. Són tres línies de lampisteria entre dues funcions públiques, totes dues provades, i totes dues cridarien com a posseïdes si la lampisteria es trenqués. Deixa-la estar. Cada test que escrius és una línia de codi que has de mantenir per sempre; gastar aquest pressupost en una funció privada de dues línies és l'equivalent en testing d'assegurar els cordills de les sabates.

Com és natural, sempre hi ha qui descobreix que es pot accedir a Module.function per la porta del darrere mitjançant apply/3 i una mica de deshonestedat amb els atributs del mòdul, o que n'hi ha prou amb plantar un @compile :export_all i continuar endavant. I tant. També pots arrencar la barana del balcó perquè et tapa les vistes. La barana no era pas cap defecte de disseny.

Hi ha un segon regal, més subtil, amagat aquí. Com que el llenguatge fa que la implementació sigui impracticable de provar, empeny discretament el desenvolupador gandul —i tots som el desenvolupador gandul els dijous a la tarda— cap a provar el comportament, que és l'única cosa que val la pena provar. Elixir ha codificat el bon gust com una restricció del compilador. Pocs llenguatges tenen aquest coratge.

El comportament és una virtut, la implementació és un vici

Vet aquí la raó mecànica per la qual els tests de comportament detecten regressions i els tests d'implementació no.

Una regressió ocorre quan algú canvia la implementació i, accidentalment, altera el comportament. Aquesta és tota l'anatomia del problema. Ara demana't què li passa a cada tipus de test davant d'aquest fet.

El test d'implementació es va escriure contra l' antiga implementació. El desenvolupador va canviar la implementació, per la qual cosa el test va fallar; però va fallar perquè la implementació va canviar, no pas perquè hi hagi res necessàriament trencat. El desenvolupador, que és raonable, té pressa i ha vist aquest test cridar el llop nou vegades aquest mes, actualitza el test perquè coincideixi amb la nova implementació. El test es posa verd. El bug arriba a producció. El test va participar amb entusiasme en la seva pròpia derrota.

El test de comportament es va escriure contra el contracte, que ningú no pretenia pas canviar. Falla, i no hi ha cap manera versemblant d'«actualitzar-lo», perquè actualitzar-lo significaria declarar obertament que el programari ara fa una cosa diferent. Això demana una conversa, no pas un arranjament ràpid. El bug no arriba a producció.

Per aquesta raó, un autèntic test de regressió té un pedigrí molt particular. No l'escriu pas un desenvolupador radiant durant el desenvolupament d'una funcionalitat. L'escriu algú amb cara de pocs amics després d'un incident, i es llegeix com una declaració judicial:

describe "issue #1472: timezone-aware expiry" do
  test "a token minted at 23:59 UTC is not considered expired at 00:01 local" do
    # Notificat el 2026-04-02 per un client a UTC+2 l'equip
    # sencer del qual va veure la sessió tancada cada nit durant nou dies.
    token = mint_token(at: ~U[2026-04-02 23:59:00Z], ttl: {2, :hour})
    assert {:ok, _claims} = verify(token, now: ~U[2026-04-03 00:01:00Z])
  end
end

Observeu el que el test sap i el que ignora. Coneix el símptoma, la data i la víctima. Desconeix si l'expiració es calcula amb DateTime.diff/3 , un decalatge monotònic en memòria cau o un rellotge de sol. Podreu reescriure tot el subsistema d'expiració demà; aquest test us seguirà el ritme sense queixar-se, i el dia que es posi vermell, alguna cosa real s'haurà trencat.

Fixeu-vos també en el comentari. Un test de regressió desproveït del relat del seu naixement és una mina antipersona per a la propera persona, que tard o d'hora mirarà aquella asserció estranya, serà incapaç d'imaginar per què algú la va escriure i l'esborrarà. Tot test de regressió hauria de portar l'esquela de l'error al qual va donar sepultura. La documentació més barata del vostre repositori és aquella que fa fallar la compilació tan bon punt esdevé falsa.

La regla, enunciada sense embuts: cada correcció d'un error s'acompanya d'un test que falla abans de l'arranjament i passa després. Si no sou capaços d'escriure un test que falli, no heu entès pas l'error; només l'heu amoïnat, i tornarà.

I aleshores van arribar les màquines

Tot l'anterior ha estat cert des d'aproximadament el 1975. El que ha canviat és el volum i la procedència del codi que desemboca al repositori.

El codi generat no és pas pitjor que el codi humà en el sentit que clamen els pessimistes. És pitjor d'una manera molt més específica i perillosa: és localment versemblant i globalment desancorat . Un model que produeix una refactorització no recorda l'incident de l'abril. Mai no li han fet sonar l'alerta a les tres de la matinada. No sap pas que el bucle de reintents porta un +1 estrany perquè l'API d'un proveïdor comença a comptar des d'un, ni que el pas de normalització elimina un caràcter Unicode concret a causa d'un error en un client publicat fa quatre anys que encara fan servir sis-cents clients. Tot aquest coneixement rau exactament en dos llocs: al cap de persones que tard o d'hora marxaran, i a la vostra suite de regressió.

Quan un enginyer humà topa amb una línia d'aspecte peculiar, dubta. Executa git blame . Pregunta al canal. Un model no dubta pas; no pot, perquè dubtar requereix saber allò que no saps, i un amplificador estadístic és constitucionalment incapaç d'aquesta forma concreta d'humilitat. Veu una anomalia, la reconeix com una desviació de l'estil amb què va ser entrenat i l'endreça amb la serena confiança de l'empleat de neteja que llença a les escombraries una instal·lació artística perquè semblava una pila de runa.

La vostra suite de regressió és l'única cosa a tot l'edifici capaç de dir-li que no a això. No pas el linter, que considera la versió endreçada objectivament més polida. No pas el verificador de tipus, que assenteix en veure que els tipus quadren. No pas el revisor, que té al davant un diff de quatre-centes línies i una reunió d'aquí a sis minuts. Només el test escrit per algú que era allà a l'abril.

Això inverteix l'economia d'una manera que val la pena expressar clarament. El cost d' escriure codi s'ha enfonsat. El cost de verificar codi no s'ha mogut ni un mil·límetre, perquè verificar és on rau el coneixement del domini, i el coneixement del domini no va ser mai a les pulsacions de teclat. Per tant, la proporció canvia. El 2015, un equip que produïa deu mil línies a l'any es podia permetre una relació despreocupada amb la seva suite de tests. Un equip que ara produeix deu mil línies al mes no pot; no pas perquè el codi sigui pitjor, sinó perquè cap ésser humà no l'està llegint ja sencer, i la suite ha estat ascendida silenciosament de xarxa de seguretat a lector principal.

Dos corol·laris que a la gent li rebenta sentir:

Mai no permeteu que el model escrigui el test de regressió a partir del codi corregit. La gràcia mateixa del test és que va ser derivat del símptoma , amb independència de la implementació. Passeu al model una funció apedaçada i demaneu-li tests, i obtindreu una descripció exquisidament minuciosa del pedaç: un altre mirall, només que més ràpid i més ben escrit. Escriviu primer el test fallit, a partir de l'informe de l'error, amb les vostres pròpies paraules. Aleshores deixeu que la màquina arregli el codi fins que el test es posi verd. Aquella direcció és colossalment productiva. L'altra direcció és pur teatre.

Desconfieu profundament d'una suite en verd després d'una gran refactorització generada. O bé la vostra suite és genuïnament de comportament, i en aquest cas enhorabona i bon profit pel dinar; o bé la vostra suite és tan esquifida que mai no s'hauria adonat de res. La manera de distingir-les és trencar alguna cosa expressament i comprovar que la suite cridi. Si voleu fer això de manera sistemàtica en comptes de per intuïció, per a això serveixen els tests de mutació: són una suite de tests per a la vostra suite de tests, i la primera execució sempre resulta una lliçó d'humilitat. Proveu muex , per cert; és una joia.

Més espècimens observats en llibertat

Com que la veda és oberta, repassem alguns patrons addicionals que habiten al costat correcte de la frontera, i alguns impostors que no.

Tests de caracterització per a codi que ningú no entén. Hereteu quaranta mil línies sense tests i sense autor conegut. No podeu escriure tests de comportament, perquè ningú no coneix el comportament previst. Així que anoteu el comportament real : alimenteu-lo amb entrades reals, enregistreu les sortides reals i assegureu que continuïn sent així. Els tests no afirmen correcció; afirmen estabilitat , que és l'única cosa que honestament podeu assegurar sobre un sistema que no compreneu. Això és testing de regressió en estat pur, i és la porta d'entrada estàndard per fer que un sistema heretat sigui segur de tocar. Etiqueteu aquests tests clarament, perquè alguns d'ells commemoraran fidelment errors existents, i demà algú n'arreglarà un i quedarà bocabadat davant del vermell.

Doctests com a contractes de comportament. El doctest d'Elixir és una idea discretament radical: l'exemple a la vostra documentació és el test. La documentació menteix constantment, a cada projecte, a cada llenguatge; excepte aquí, on una mentida trenca la compilació. I com que els exemples de documentació s'escriuen des de la perspectiva de qui crida per definició, són de comportament per construcció. No podeu documentar l'acumulador intermedi d'una funció privada d'una manera que resulti útil a l'usuari, de manera que no ho feu, i per tant no ho proveu. El mitjà condiciona el missatge.

Tests de contracte a les fronteres dels serveis. La regressió amb més probabilitats d'arruïnar-vos el trimestre no és pas al vostre codi en absolut; és a l'altra banda del cable, que un dimarts qualsevol va canviar un camp de cadena a enter sense avisar ningú. Un test de contracte sostingut en una interacció enregistrada i versionada detecta això a la vostra execució de CI i no pas a producció. Comportament a la costura, que és exactament on el comportament resulta més difícil de raonar i més car d'errar.

Mox i contractes explícits, en contraposició als mocks com a substantiu. Falsejar un col·laborador privat per poder assegurar que va ser cridat dues vegades és provar la implementació amb cerimònia extra i pitjors missatges d'error. Definir un behaviour, implementar-lo dues vegades —una per a real, una altra per a tests— i verificar el contracte d'interacció és provar el comportament amb un rerefons intercanviable. El primer dificulta la refactorització; el segon la fa possible. La mateixa biblioteca, desenllaços oposats, i la diferència rau completament en si allò que heu falsejat era un contracte o un accident.

El test intermitent ( flaky ) és un test de regressió per a la vostra concurrència, i l'esteu ignorant. Tot equip té aquell test que falla a CI més o menys un cop cada quinze dies, i tot equip li ha plantat un @tag :skip o un embolcall de reintents. Aquell test no està trencat. Aquell test és l'únic membre de la vostra suite que s'ha adonat de la condició de cursa, i li heu posat una mordassa. La manca de determinisme als tests és gairebé sempre un positiu verídic sobre la manca de determinisme al sistema.

Hora, configuració regional i codificació: els tres cavallers. Una proporció esfereïdora de totes les regressions mai registrades prové d'una data que creua una frontera, una configuració regional que formata un número de manera diferent o una cadena que conté un caràcter l'existència del qual l'autor ni sospitava. Són de comportament per naturalesa i gairebé mai no queden cobertes per tests unitaris fets a mà, perquè la imaginació de l'autor està fitada per la seva zona horària, la seva regió i el seu alfabet. Els generadors basats en propietats no pateixen aquestes limitacions, raó per la qual StreamData troba l'emoji al camp d'usuari en unes nou iteracions.

Fitxers daurats ( golden files ), fets servir com cal. El testing per instantànies ( snapshots ) té mala reputació, guanyada a pols per equips que executen «actualitzar totes les captures» com un acte reflex i comitegen el resultat sense llegir-lo. Un fitxer daurat revisat amb la mateixa serietat que el codi font és un test de regressió excel·lent per a qualsevol cosa amb una forma de sortida complexa: plantilles renderitzades, esquemes generats, càrregues útils serialitzades. Un fitxer daurat actualitzat per memòria muscular és un git add . amb passos extra.

Pressupostos de rendiment. Una funció que retorna la resposta correcta en nou segons, havent trigat prèviament quaranta mil·lisegons, ha sofert una regressió: el comportament d'un sistema inclou quant triga a comportar-se. Una asserció tosca sobre un límit superior, o una prova de rendiment a CI, enxampa aquell Enum.map accidental sobre una consulta de base de dades que algú va colar dins d'un bucle. Ningú no escriu aquests tests fins a la primera apagada, cosa que és una llàstima, perquè són baratíssims.

El test que elimines. L'últim i més herètic: un test que mai no ha fallat per un motiu de pes en tres anys no t'està protegint pas. És una partida al teu pressupost de manteniment, un llast al teu temps de CI i un petit peatge diari a l'atenció de tothom. Les suites de regressió han de créixer per sedimentació d'incidents reals, no pas per una quota de cobertura imposada des de dalt. La cobertura mesura quines línies es van executar, no pas quins comportaments es van verificar; una suite que cridi a cada funció sense fer cap asserció obté un cent perfecte, igual que una que ho asseveri tot sense entendre res.


La versió resumida

Els tests són barats i abundants; els tests de regressió són cars i escassos, perquè cadascun costa una avaria real per ser adquirit. Tracteu-los en conseqüència. Escriviu-los a partir de l'informe d'error i no pas a partir de la solució. Apunteu-los cap al contracte i no pas cap a la lampisteria. Deixeu que el compilador us impedeixi provar funcions privades i agraïu-li en silenci la disciplina. Preferiu la llei a l'exemple, i deixeu que el generador trobi el contraexemple en què mai no hauríeu pensat.

I ara que una proporció creixent del vostre codi arriba des d'una font sense memòria dels darrers cinc anys, compreneu en què s'ha convertit la vostra suite. Ja no és una simple porta de control de qualitat. És l'única memòria institucional que teniu que no dorm, no se'n va i no pot ser persuadida d'abandonar la seva postura mitjançant un paràgraf persuasiu de raonaments plausibles.

Sigueu agressius amb ella. Les regressions, ben cert, ho seran.


Anteriorment, sobre l'art de no enganyar-se a un mateix amb les pròpies eines: