scala & reactive systems

Scala & Reactive Systems Viktor Lövgren / @vlovgr

Utveckling 1960-2000 Utveckling idag

En maskin Kluster av många maskiner

Enkärniga processorer Flerkärniga processorer

Dyrt med RAM Billigt med RAM

Dyrt med lagringsutrymme Billigt med lagringsutrymme

Långsamma nätverk Snabba nätverk

Få samtidiga användare Många samtidiga användare

Små datamängder Stora datamängder

Svarstider i sekunder Svarstider i millisekunder

Hur ska vi utveckla mjukvara med dagens förutsättningar?

Reactive Manifesto

Reactive Systems — Responsive

• Svarar inom en tidsgräns, om möjligt. • Upptäcker fel tidigt och hanterar dem. • Ger en konsistent användarupplevelse.

• Bygger företroende hos användaren.

Reactive Systems — Resilient

• Kan vara responsive trots fel i systemet. • Isolerar fel till en specifik komponent. • Klarar av att hantera fel och återställa sig. • Replikerar komponenter, hög tillgänglighet.

Reactive Systems — Elastic

• Kan vara responsive när belastningen ökar. • Allokerar resurser efter användningen. • Inga centrala flaskhalsar, replikering. • Distribuera lasten, skala efter behov.

Reactive Systems — Message Driven

• Kommunicera med asynkrona meddelanden. • Felhantering — återställ från fel i systemet. • Back pressure — diskutera lastbalansering. • Location transparency mellan komponenter.

Reactive Systems

Reactive Systems — Microservices

• Isolerade komponenter (vs. monoliter) • Lättare att skriva, förstå, underhålla, … • Hanterar fel bättre, kan fortsätta fungera. • Share nothing design: inget delat tillstånd.

“Preliminary results of another Ruby to Scala transition show a jump from 7K to

19K transactions/hour on 1/2 the hardware.” — Dragos Manolescu (micro-workflow.com)

Vad ska vi använda för teknik?

Scala, Akka, Play

Martin Odersky

• Ph.D. ETH, Zurich. • EPFL, Lausanne. • Javac / Generics. • Scala, sedan 2001.

• Organisation grundad av Martin Odersky. • Leder utvecklingen av flera öppna projekt.

• Scala, Akka, Play, Slick, SBT, Scala IDE, … • Bra resurs för material runt dessa verktyg. • Teknikval förklaras av Reactive Manifesto.

Typesafe

• Imperativ- och funktionell programmering. • Skalbart, kan växa med användarnas behov. • Byggt ovanpå Java, kompilerar till bytecode. • Kraftfullt typsystem, grymma collections. • Möjlighet till domänspecifika språk (DSLs).

Scala i korta drag

• Open source byggverktyg för Scala och Java. • Kan jämföras vid Maven eller Ant för Java. • Beroenden hanteras med Apache Ivy. • Inkrementell kompilering, interaktivt skal. • Plugins för det mesta man kan tänka sig.

Scala Build Tool (SBT)

• Utvecklingsmiljö: IntelliJ, Eclipse (Scala IDE). • Installera Scala Build Tool (SBT) eller Scala. • Starta Scalas interaktiva skal (REPL).

• Read-Evaluate-Print-Loop (REPL). • Alternativt, använd Scala Worksheets.

Komma igång

brew install scala scala

Installation (Mac)

brew install sbt sbt console

Installation (Mac)

Demo: Komma igång

• Flera möjliga val, t.ex. ScalaTest, ScalaCheck. • ScalaTest har färdigt stöd för bl.a. TDD/BDD. • ScalaCheck: property-based testing.

• Generera random input; kör flera gånger. • ScalaTest och ScalaCheck kan kombineras.

Testning i Scala

• Java 8 kom med mycket ny funktionalitet. • Lambda-uttryck, streams, parallella streams. • Idéerna kan ses som inspirerade av Scala. • Scala har betydligt mer än så att erbjuda.

Java 8 — behövs Scala?

// 61 rader kod i Java public final class Person {

private String name; private int age;

public Person(final String name, final int age) { ... }

// getName, setName, getAge, setAge // apply, copy, equals, hashCode, toString }

Java — enkel modell

// 1 rad kod i Scala case class Person(name: String, age: Int)

Scala — enkel modell

• 17 olika språk, 729 projekt, 80 miljoner rader. • Slutsatser från granskningen:

• Stark typning är bättre än svag typning. • 122 feltyper i JavaScript; ej i TypeScript.

• Bättre kodkvalité med funktionella språk.

Python, Ruby, NodeJS, … — behövs Scala?

“We need to rewrite our Java/Scala application in JavaScript/Python/Ruby/

$your_favorite_dynamic_lang.”

— Nobody, never.

• TrueAccord, migrering Python till Scala. • Top 3 faktorer som avgjorde valet:

• Interoperabilitet med Java. • Funktionell programmering. • Economy of code.

Python — varför Scala?

“At TrueAccord, this level of code correctness [Scala type safety] saves us invaluable time

and money in the long run.”

• WhitePages migrering från Ruby till Scala. • Elegant mix av objekt-orientering och FP. • Statisk typning: Typigenkänning, hitta fel. • Kör på JVM: Snabb, Tooling, Java-bibliotek. • Smidig hantering av samtidighet med Akka.

Ruby — varför Scala?

• Travis CI build status för projekt på GitHub. • Urval av några språk och webbramverk:

• 5. Scala (99.9) / 18. Elixir (90) / 26. F# (88) • 29. Ruby (80) / 33. Flask (65) / 34. Rails (60) • 38. Express (30) / 39. Sinatra (15)

Vad är sannolikheten att det bygger?

Case: betygen.se

• Universitetets tjänst för tentamensresultat. • Kunna se statistik på tentamensresultat. • Data finns redan, men inte lättillgänglig. • Idé: hämta och lagra resultaten.

Tentamensresultat

• Generera en query mot universitetets tjänst. • Använd en parser som läser data från svaret. • Upprepa för varje sida (10 tentamen/sida). • Problem: hur får vi tag i alla resultat?

Hämta och lagra resultaten

• Problem: tjänstens paginering är långsam. • Möjligt att söka efter resultat i datumperiod. • Idé: dela upp sökning i en mängd perioder. • Behöver bara ta reda på det äldsta resultatet. • Kör flera parallella queries med Akka.

Hämta och lagra resultaten

• Verktyg för concurrency, distributed apps. • Bygger på message-passing mellan actors. • Actors ordnas i en hierarki; felhantering. • Kommunikation är location transparent. • Många ramverk bygger på Akka, t.ex. Play.

Akka

“In despegar.com, we have migrated a

core Java app to Akka and Scala. Now we handle same traffic with a quarter of hardware.”

• Idé: skriv ett API för att komma åt resultat. • Flera möjliga teknikval i Scala för detta.

• Exempelvis: Play framework, Spray. • Båda ramverken är byggda med Akka.

Gör resultaten mer lättillgängliga

• Refresh workflow / Type safety överallt. • Det mesta för modern webbutveckling.

• RESTful som standard, bra JSON-stöd. • Plugins för LESS/SASS, CoffeeScript, etc. • Skalbart med Akka / Java NIO (Jetty).

Play Framework

• En komplett IDE byggd som en webbapp. • Många exempelprojekt med olika tekniker. • Guider integreras smidigt i projekten. • Enkelt att komma igång och testa.

Typesafe Activator

Installation (Mac)

brew install typesafe-activator activator

• Data är nu lättillgänglig — använd den. • Lanserade betygen.se i början av augusti. • Använder Play framework i grunden. • WebJars för client-side dependencies.

Bygg en webbtjänst för statistik

• Grundläggande funktionalitet i Java, 2012. • Allt skrevs om från grunden i Scala, 2014. • 1/4 så lite kod i Scala (1100 rader vs. 4500). • Mindre dokumentation (0 rader vs. 2500). • Lättare och mer naturlig syntax i Scala.

Lösning i Scala vs. Java

Lösning i Scala vs. Java

// Java; ServiceQuery ~ 234 rader kod final ServiceQuery query = new ServiceQuery.Builder() .examinationDate(DateRange.after(Date.year(2012))) .courseName("envariabel").build();

// Scala; Query ~ 63 rader kod val query = Query(Course(name="envariabel"), date=from(2012))

github.com/betygen

• Lätt att komma igång, roligt att använda. • Funktionellt med styrkorna i Java (JVM). • Skalbarhet i grunden; tillförlitliga system. • Interagera med existerande Java-system. • Används av stora företag — fler följer!

Sammanfattning — varför Reactive + Scala?

• Coursera (kurser av Martin Odersky): • Grundkurs: Functional programming. • Fortsättning: Reactive programming.

• Böcker, t.ex. Scala for the Impatient. • Konferenser, t.ex. Scala Days.

Lär dig mera

• Awesome Scala — lista över Scala-verktyg. • Scala Times — nyhetsbrev varje vecka. • StackOverflow Scala — bra översikt av Scala. • Scala Stockholm — meetup-grupp för Scala.

Lär dig mera

Tack för mig! Viktor Lövgren / @vlovgr