Zoals elk jaar moet er in februari geoogst worden. Dan is namelijk de deadline voor de COLT conferentie (die wordt gehouden in juli). Deze zomer is COLT in Parijs.
Ditmaal zaten er twee papers in de pijpleiding. Beide uitlopers van mijn vorige twee papers op NIPS. En beide zijn vandaag ingestuurd.
Als eerste het magnum opus Second-order Quantile Methods for Experts and Combinatorial Games met Tim van Erven. Dit gaat over hoe je principiële leeralgoritmes kunt maken die vervolgens ook nog eens briljant werken in de praktijk. Dit klinkt misschien als een gegeven, maar dit gaat eigenlijk meestal juist nogal mis. Dat zit zo. Het is cruciaal de learning rate, een belangrijke parameter van veel leeralgoritmes, op de juiste waarde in te stellen. Dit gebeurt nu nu vaak door manueel en/of ad-hoc tunen. De theorie suggereert de ene waarde voor garanties, en in de praktijk werkt een heel andere waarde veel beter. Onze methode werkt door die learning rate zelf ook te leren van de data. Ook dit lijkt weer zo klaar als een klontje. Maar gek genoeg konden we dit tot nog toe niet, want de learning rate werkt op een andere manier dan "normale" patronen die we van de data leren. Toch kan onze nieuwe methode de learning rate automatisch leren op een elegante en natuurlijke manier. En hij is ook nog eens net zo snel als wat er al bestond.
En als tweede een paper genaamd Minimax Fixed-Design Linear Regression. Dit laatste met Peter Bartlett, Alan Malek, Manfred Warmuth en Eiji Takimoto. Peter en Alan zijn mijn collega's in Berkeley. Manfred en Eiji hadden zulk sterk gerelateerd werk gedaan (maar niet gepubliceerd) dat we ze gevraagd hebben coauteurs te worden. Dit paper is een vervolg op ons NIPS paper waarin we square loss games bestudeerden. Een grote broer van voorspellen met square loss is de taak genaamd lineaire regressie. Regressie gaat over het vinden van verbanden tussen variabelen en labels (bijvoorbeeld: gegeven variabelen "schoenmaat" en "leeftijd" voorspel het label "inkomen"). Wij kunnen dat nu kleine lettertjes: voorwaarden/omstandigheden mompel mompel etc. optimaal. En nog snel een simpel ook.