Juice Analytics har på sin site publicerat tre väldigt intressanta artiklar om dashboard design. Väl värda en genomläsning!
http://www.juiceanalytics.com/registration/dashboard_design/
Nålen i höstacken – eller hur hitta fel i en stor datamängd?
Om man manuellt skall kontrollera en datapost för en avvikelse på något slag så har man att göra ett bra tag. En tabell med 1 000 rader som det tar 30 sekunder att kontrollera per rad betar en person av på lite drygt 8 effektiva timmar. Det blir snabbt ogörligt att manuellt kontrollera en tabell för felaktigheter. Hur göra istället? Jag brukar använda vissa standardtest för att hitta problem. Det går inte att hitta alla tänkbara fel så klart, men jag vill nog påstå att det mesta följer med i denna håv.
Enkla frekvenstabeller (select kolumn,count(*) from tabell group by kolumn order by 2 desc) av kolumner ger ofta väldigt värdefull information. Sortera på antal förekomster av ett visst värde så de vanligast förekomsterna kommer först. Om en variabel är av intervall-typ så är allt för ofta förekommande värden klart misstänkta och behöver undersökas. Felklassificeringar av olika slag fångas ofta också effektivt på detta sätt. Se upp med sortering av alfanumeriska värden kontra numeriska.
Selektera sedan ut extremvärden för intervallvariabler, till exempel med hjälp av ”top 100″ eller genom att sortera tabellen. Kontrollera om extremvärdena är rimliga eller inte. Kolla också efter förekomster av null-värden.
En annan bra deskriptiv metod är att skapa percentiler, dvs värden för 10%-delar av en variabel, och studera hur fördelningarna ser ut. Finns det ”hack” eller konstigheter i kurvan?
Vill man gå djupare så kan man använda mer avancerade statistiska tekniker, tex chi-2-test, normal-plottar med mera.
När detta är avklarat bör man ha hittat de flesta fel och problem i ett datamaterial. Sen handlar det bara om att rätta datat, det är en helt annan femma det.
BI och open-source har varit som olja i vatten till dags dato. Men kanske finns det chans till genombrott nu, italienska staten har anlitat Pentaho (open-source enterprise BI-lösning) och jAPS (open source portal) som levererantör av informationsapplikationer, ej specificerat vad. Läs mer här.
Inom min bransch, telekom, är churn, eller kundavhopp, något av det mest viktiga som finns i nyckeltalsväg. Churnen uttrycks ofta som en kvot av antal avhopp i en given period delat med total kundstock i början av perioden. Hög churn är naturligtvis inte bra, i alla fall inte om inte försäljningen i motsvarande grad kompenserar för kundtapp. Att motverka churn är ofta lönsamt, men endast upp till en viss nivå. Kostnaden för att behålla en kund ökar kraftigt ju närmare man kommer miniminivån 0%.
Totalchurnen kan i CRM-sammanhang vara intressant att dela upp i olika komponenter, för att bättre förstå vilka åtgärder som är mest effektiva för att motverka hög churn. Utmaningen är att hitta ”adresserbar churn” som på ett effektivt sätt kan hanteras.
Ofrivillig churn är en kategori av churnare som inte churnar av någon påverkbar orsak, tex om en person avlider, flyttar utomlands eller ett företag går i konkurs, hamnar på obestånd. Denna churn är i det akuta läget oerhört svårt att göra något åt, däremot så kan tex en strategi att rikta sig mot grupper med naturligt låg ofrivillig churn göra att nivån på denna typ av churn hålls nere. Företag som har mycket höga krav på soliditet för sina kunder kan tex förväntas ha lägre nivåer jämfört med en mer avslappnad attityd.
Administrativ churn uppstår på grund av företagets rutiner och policies. Ett exempel är nedläggningen av Telia’s NMT:nät 2007. Utmaningen i detta fall är att ha en vettig livscykel för kunder så att de migrerar in i andra produkter eller abonnemang.
Intern churn på grund av så kallat väskryckarbeteende eller liknande är något som företag kan påverka genom sina egna affärspolicies. Om kunder avslutar sin relation hos ett företag i syfte att utnyttja nyförsäljningserbjudanden hos konkurrenter så kan denna typ av churn uppstå. En del kunder alternerar tex mellan SVD och DN beroende på när de har gratismånader. Denna typen av churn beror helt på hur erbjudanden och provisioner ser ut. I en del fall drivs churn av provisionsstrukturer till företagets egna säljkår, vilket är ett klart ohälsotecken.
Slutligen medveten churn är churn som kunden genom egna beslut själv skapar. Kunden har bestämt sig för att välja en annan leverantör eller att sluta med en tjänst på grund av att den inte anser sig ha råd med tjänsten. Ofta uppstår medveten churn i samband med avtalsperioder som går ut, skiften i marknadslogik och andra typer av triggers. En särskild typ av trigger är ”göra-bort-sig”-triggern, dvs om företaget gör nått som allvarligt påverkar kundernas uppfattning om företaget så kan massiv kundflykt uppstå.
Utöver triggers så finns en ”naturlig churnnivå” som är mer slumpmässigt styrd, man väljer en dag att se över sin relation mest för att man känner för det.
Medveten churn kan dämpas av olika åtgärder, tex kontinuerlig produktutveckling, avtal, lojaliserande program som tex Eurobonus med mera med mera.
Genom att ha koll på hur företagets churn fördelas över tex dessa olika kategorier kan företaget avgöra vilken typ av strategi som är lämpligast för att reducera churn. Om tex huvuddelen av churnen kommer av intern churn så måste företaget se över sina nyförsäljningserbjudanden och försöka effektivisera dessa så de endast fungerar på helt ny försäljning.
Under 2010 kommer CRM-marknaden i sverige att skifta fokus från kundfrontssystem som ofta endast är en mer avancerad form av Microsoft Outlook till system som syftar till att förbättra styrning och kontroll över kundkommunikation, säljkår, kundtjänst och annan kundfrontspersonal. Caset är tydligt, kan ett företag bättre säkerställa att dess representanter följer givna affärsdirektiv och säljer mer ”rätt” eller möter kunden på ett bättre sätt kan betydande vinstökningar göras och företagen ökar kundlojaliteten.
Men fallgroparna är många och djupa, det gäller att ha en djup förståelse och motivation för att lyckas. Dessa projekt omfattar dessutom betydande förändringar i hur företag arbetar med kundmöten, vilket gör att IT och verksamhet måste gå hand i hand för att lyckas.
Biznode meddelar i ett pressmeddelande att de köper Teleadress - en av sveriges ledande leverantörer av adressuppgifter - från Schibsted. Biznode har redan starka varumärken inom området, tex PAR, och kommer med förvärvet att stärka sin position inom adressmarknaden samt enligt uppgift uppnå betydande synergier med befintlig verksamhet.
Se vidare: http://www.biznode.se/en/News–Press/Bisnode-press-releases/2009/Bisnode-acquires-Teleadress/
Dataminingverktygen är otroligt dyra, men inom den akademiska världen har man tagit saken i egna händer. R är ett statistikpaket som utvecklas under GNU-licens. I och med att den akademiska världen tagit till sig verktyget och gjort det till sitt så kommer det senaste inom datamining inte att finnas i ett licensierat program utan i open source-världen.
De gamla licensierade programvarorna kommer att fortsätta sin paketering in i applikationer som motdrag. Genom att sälja samma sak flera gånger så fortsätter tillväxten trots att man kanske inte är först med det allra senaste.
Tänk om man skulle ta och leka Gartner-analytiker och titta lite i kristallkulan för 2010?
Det som framstår som helt uppenbart är att Google kommer att lansera gratis terabyte-klass data warehouse via webben. (75% sannolikhet). De kommer att använda sin ”Big table” samt nyinköpta datavisualiseringsverktyg och verkligen skala upp på ett sätt som får FRA att framstå som en walk in the park.
Med färdiga data modeller för olika typer av företag och självklart en direkt integration mot sökmotorn, google docs, android och wave så kapar de kostnader för att sätta upp och driva ett data warehouse till ett minimum. Även det minsta företag kommer att kunna ha enterpriseklass DW/BI funktionalitet utan att betala ett ruttet öre.
När de sedan fått in alla företags data så kommer de att analysera den (krav i deras generella användarvillkor) med hjälp av en ny standard för individidentification: Google universal user ID, GUUD, och vässa sina sökord intill perfektion. Google kommer att veta vad vi vill ha innan vi själva vet om det och fortsätta sina strävanden mot världsherravälde.
För övriga leverantörer på området så kommer detta att bli en utmaning att bita i. Går det att tävla med gratis i det långa loppet?
Business intelligence och data warehouse befinner sig i kraftig tillväxt på den svenska marknaden. Under de senaste 5 åren har mer och mer kraft lagts på att skapa datalager och olika typer av analytiska applikationer. I en del avseenden så finns det paralleller till internetboomen från slutet av 90-talet. Nämligen att många personer kommer in och börjar jobba i området utan att ha tidigare erfarenhet av att arbeta med data på det vis som krävs i BI/DW-sammanhang.
Här finns anledning att se upp för företag som planerar att bygga data warehouse och BI/analytiska applikationer. Kvaliteten i det som designas, utvecklas och driftsätts påverkas i hög grad av de beslut som varje individ i ett projekt behöver fatta, och om man inte har så lång tidigare erfarenhet så ökar självklart risken att fel beslut tas. Dessa felbeslut kan kosta uppdragsgivaren mycket stora summor och kraftigt försena projekt.
Ställ därför krav på dina leverantörer att de har erfaret folk och en gedigen kunskap inom området innan du kör igång data warehouseprojekt. Det lönar sig i längden.
Jaha, då var julbordet avklarat. I år sponsrat av SAS Institute. Lite lustigt att sitta brevid ”kollegorna” på andra operatörer. Av konkurrensskäl så blir diskussionen minst sagt allmänt hållen. Men revbensspjällen var utomordentligt god på Ulriksdals värdshus. Niklas Andersson frågade häromdagen om fler inlägg kring open source. Egentligen lite svårt för min del. Jag jobbar tyvärr mest med gamla hederliga betalprogramvaror. Tänkte det kanske kunde vara kul att göra en liten exposé över de programvaror som jag använder….
SAS Base och SAS Stat är huvudsakliga arbetsverktyg. Jag använder SAS för att extrahera, bearbeta och analysera data från många olika datakällor i många olika format. Det är svårt att komma ifrån att SAS är väldigt bra på den typen av arbetsuppgifter, och det är därför lätt att bli beroende av programmet. Däremot så använder jag inte deras paketerade lösningar särskilt mycket (läs inte alls), eftersom jag föredrar att använda skriptspråket när jag gör mer avancerade analyser. Blir dessutom mycket billigare om man kan klara sig utan det.
Använder Cognos Powerplay och Business Objects för att skapa rapporter av olika slag när det är påkallat. Gillar Cognos Powerplay skarpt, den gamla feta klienten är härligt enkel att jobba med och ändå oerhört kraftfull. BO är också rätt trevligt att jobba med, de är vår utpekade ”officiella” rapportplattform och används i lite ”finare” sammanhang (dvs inte när man kör lite underbordet fulanalys typ).
Har också MapInfo att tillgå samt massa härliga kartlager. Gillar att hålla på med kartor i och med att det är ett kraftfullt sätt att presentera information på. Alla har ju en relation till sin hembygd och i ett land som sverige är det alltid uppskattat att visa ”hur det ser ut hemmavid”.
I övrigt finns lite annat smått o gott, typ MS Visio för att göra fina bilder över systemsamband så att till och med IT kan bli lite imponerade ibland. Men bara ibland.
På datawarehouse-sidan så jobbar vi med i stort sett allt, Teradata, Oracle, SAS, Sybase, SQL Server. Alla moderna databaser är duktiga på att skyffla data i DW-miljö tycks det mig, eller så är det vår DW-enhet som är duktiga på att krama ur god prestanda ur burkarna. När det gäller DW-miljön så vill jag som lite mer krävande användare härmed skicka en officiell julhälsning till våra DW-tekniker ”out there” med hjälp av Honda, The Cog: ”Isn’t it nice, when things just work?”
