Citaten med exemplen är från Världsproblemen med störst byråkratiskt utrymme jag skrev till Nyfiken vital. Här har jag också kompletterat med fler länkar.

Wikipedia bäst för att hitta fakta och bestämma typ
Förutom denna typ av organisationer, myndigheter, regeringar, politiska tankesmedjor, organisationer m.m. finns även en del relationer från Wikipedia i Blue light. Dock har det försökts att hållas ner (även om det är bra för att ”utspritt” på korrekta platser i det nätverks som byggs upp därför dessa är definierade hyggligt enhetligt i uppslagsboken) därför att det är för lätt vilket gör att det värde de former av organisationer som prioriterades representerar missas (Wikipedia är just enkelt och känns alltid bra därför att fakta man extraherar tycks uttrycka allt så exakt och fullständigt men just allt verksamhetsnära till ett mer unikt perspektiv missas för det istället kanske mer ”objektiva”).

Däremot används Wikipedias kategorier och info-boxar på uppslagssidorna (se [1] för en artikel presenterad vid WWW 2008) m.m. extraherat från Wikipedia och nästan exklusivt i en helt annan del av plattformen. Medan Blue Light liknar psykologins prototyper kan vi jämföra Wikipedia-data:s ansvarsområde med kategori-neuroner (vad vissa former av ”absolut” mening tenderar att konvergera till eller i närheten av i en grupp neuroner). De hjälper oss att typbestämma och sortera rätt vad entiteter och relationer betyder.

Exempel på en tidig version identifiering av kategorier m.m. för godtyckliga ord finns här: The Librarian: Area drill för samband mellan och typiska aspekter på entiteter. Diskussioner algoritmer m.m. finns i ett otal publicerade artiklar från forskningsvärlden också många direkt tillämpade på Wikipedia: Large-Scale Named Entity Disambiguation Based on Wikipedia Data och Learning Named Entity Recognition from Wikipedia.

En till excellent källa jag av samma anledning undvikit i Blue light men periodvis också använt jämförbart med Wikipedia nedan är Wordnet. Det känns bra om man klarar sig med bara Wikipedia då projektet ju har gott tempo i allt.

Dessutom expanderar den i bredd där ju bland äldre projekt Wiktionary också är värdefullt ex. bag of words eller semantiska nät. Det klassiskt välkända exemplet på sådana semantiska nät är Collins och Quillians från 1969 där de semantiska relationerna byggdes upp i plan utifrån vilka ord som var relaterade i ordlistor. En av deras artiklar som bra passar till artikeln citaten kommer från Retrieval time from semantic memory givet att just accesstid för features diskuteras. De modellerade ju sitt semantiska nät utifrån det i psykologin klassiska fråge-gruppen fåglarna. Bästa exemplet även om jag inte minns om de använde det är att mäta accesstiden det tar för att identifiera en pingvin som fågel jämfört med en mycket mer typisk fågel. Deras semantiska nät kan argumenteras uttrycka det.

Det finns en mängd artiklar från forskningsvärlden med ofta även mer konkret praktiskt användbar förutom indikationer om möjlighet och algoritmer. Den här sökningen på Google Scholar kan vara en utgångspunkt: info-box wikipedia .

Potentialen extraherat Wikipedia data har för detta är svårslagen. Kvaliteten är hög och omfånget stort. Viktigast utvecklas och uppdateras uppslagsverket kontinuerligt. Det avbildar mänsklighetens begrepp och hur de flesta uppfattar deras vanligaste betydelser. Kanske är Wikipedia vad vi kan jämföra med en ”approximation” av motsvarande kategori-neuroner fast för mänskligheten? Vi kan se hur andra referensverk konvergerar upp mer sammanfattade till uppslagssidorna där de finns som referenser.

Entydiga relationer mellan entiteter (ex. personer, företag och organisationer i Wikipedia) med de kategorier de tillhör (en rad för varje relation). Motsvarande finns givetvis även att extrahera ut (gjort och finns i samma fil vi ser) för abstrakta koncept och andra relationer. Det ger möjlighet att resonera om vilka kategorier, typer eller motsvarande olika entiteter eller begrepp sorterar till.

Extrahera RSS till named entities

Nedan laddade jag upp fel bild men rätt finns i original-artikeln.

Ett exempel med Wikipedia som utgångspunkt för att lära mer från informationen där ser vi nedan där RSS-adresser (blogg-strömmar till tidningar, organisationer m.fl. entiteter som kan förekomma i tidningsnyheter tas ut genom att först identifiera deras vanliga webbadress på deras uppslagssida i Wikipedia vilken därefter kontrolleras för att se om en publik feed finns:

Just detta data datat är planerat att publiceras fritt när klart. Det tar dock ett antal dagar till eftersom att cirka 236000 webbadresser ska spindlas och när RSS-hittas behöver roboten undersöka dessa. Vidare behöver datat kontrolleras något också manuellt så att inte ”skräp” från sidorna råkat komma med ev. om än oerhört osannolikt något privat någon kan ha skrivit i kommentar i html-koden och trott att det ej var publikt läsbart.

Vad kan vi lära från det? Att när man lämnar debug ska man bäst inte ta upp data från RSS-strömmar annat än samma datum som de publicerats. D.v.s. går vi över RSS-strömmar för named entities datum XXXX-XX-XX importerar vi bara inlägg från samma datum samt adderar information om samtliga övriga inlägg rörande datum för att också minska risken för att inlägg med fel-datum in i framtiden senare ska plockas upp:

Mina i alla fall just nu begränsande datoresurser känns förövrigt oerhört deprimerande arbetsamt och tidsödande varje gång debugging gör att diverse behöver startas upp med ny-byggda cache-filer. Egentligen är det bra att undvika att sprida negativa känslor till troligt föga och ingen nytt för mig eller någon annan (därmed inte sagt att jag generellt tycker att det är fel att använda bloggar för att diskutera det egna emotionella tillståndet).

Det finns dock nackdelar och jag om någon vet att det tenderar att sprida sig både på de mest i vanliga modeller vedertagna sätt liksom via mekanismer så vitt jag vet ingen modell mer än min inkluderat i delen för riktad information.

Rörande det senare har jag ej berört just den delen i implementation (än i alla fall). Givet en del inlägg 2009 och 2010 i samband med att jag menade att svenska tidningar var irrationellt negativa rörande nyhetsrapportering runt ekonomi kanske orsakat av lokaliserade problem i media ska sägas att jag bedömer att just den senare funktionaliteten inte bör ha varit den huvudsakliga risken även om jag inte helt kan utesluta det. Min mening är inte alls att dra upp det igen och det ska understrykas att problemet verkligen var övergående. Antingen genom svensk medias naturligt ofta goda kvalitetskontroll och uppföljning, eller därför att jag pekade på det.

Vi kan ändå som tänkt exempel i riktad information förstå kanske problematiken i sådant lättare än för den väsentligt mer betydelsefulla påverkan det kan ha. Riktad information är information anpassad för en mottagare. Är riktad information ex. tydliggjort i delar negativ för politiskt engagerade populationer men för automatisk analys av bl.a. känslor vilka används för större aktörer inom valutahandel inte inses för just denna riktade information kan det tänkas få en del ”lustiga” effekter rörande ekonomi.

Jag vill inte alls spekulera (och vet inte om jag seriöst kan utan att bli smärtsamt self-reference (entropy) rolig) om det någonsin rörande valuta handel relaterat till något land varit ett väsentligt problem. Problem handlar ju nu så ofta om perspektiv. Gynnar det land A är det knappast från det perspektivet ett problem. Men om ex. svenska valutan irrationellt försämras bl.a. att modell som valuta handel motsvarande riksbanken hos land B totalt missuppfattar situationen men med resultatet att de tjänar en massa pengar ser de nog inte det som ett problem och kanske inte ens inser att deras modell inte fungerat bra.

Vi kan generalisera exemplet med riktad information till en angreppstyp mot datoranalys av känslor i bloggar, sociala media o.s.v. vilket ju är vanligt sedan några år. Vi kan i ett till exempel se att denna risk kan vara verklig även när inget angrepp ens medvetet riktas just mot den automatiserade analysen. Problemet blir värre därför upplever jag från publicerad forskning och information om verktyg att forskare och företag som gör sådant just nu begår följande misstag:

1. Resultaten vi får predikterar tillräckligt korrekt framtiden.
2. Därmed tror vi att datat vi analyserar saknar manipulation i sådan utsträckning att det påverkar.
3. Det är ett lätt feltänk att göra om man kanske har begränsad erfarenhet av webb-spam underskattande nivån på verktygen som finns där via helt andra metoder.

Problemet är att manipulationen i sig kan vara del av en större kampanj som berör mer än Twitter. Därmed kan det mycket väl vara marketing strategin inkluderande manipulation av Twitter som korrekt predikterar framtiden snarare än datat i sig analyserat som ej är just det manipulerade datat.

Det är av största betydelse att i rimlig utsträckning kunna detektera förutsättningarna varierar nu mellan vad man predikterar och kanske oftare tidigare i modeller kommersiella eller i forskning tenderar nog att gå på high-money områden där manipulation kan tänkas vara vanligt.

Sådan manipulation kan vara implicit i den mening att det inte behöver vara företaget som äger den kommersiella satsningen av ursprungsprodukten som gör den. En ny film eller produkt från välkänt företag tenderar ex. att resultera i skapandet av ett otal kommersiella informationssidor som ägs av helt andra aktörer utan något som helst samarbete med den som äger ursprungsprodukten (ex. för att tjäna pengar via webbannonsering). Dessa aktörer kan ha en ofta kuslig känsla för hur olika lanseringar kommer gå genom erfarenhet och know-how liksom användandet av webbstatistik av helt andra slag. Indikerar sådan kunskap och statistik från helt andra lösningar potential kan det öka mängden manipulativa Twitter-inlägg för att driva trafik till dessa.

Riktad information kan också anpassas mot analys som sker riktad just mot den som publicerar riktad information. Du kan ex. emulera i vad du skriver att du är berusad eller lätt galen och sedan läcka information du kanske inte annars skulle läcka. Kan du följa interferens för att se att det fungerar kan det mycket väl beroende av vem du är ha värde för dig eller orsaka skada för någon annan. Säkerhetsrisken kan tänkas underskattas givet att människan när vi tror att vi hittar något vi upplever att det inte märks att vi tittar tenderar att lita på data mycket mer än när det öppet förklaras till oss.

Låt oss avsluta se något glatt och härligt trevligt med den negativa och farligt smärtsamma begränsningen i mina datorresurser. Den styrka som finns med sådan begränsning allmänt är att man redan väldigt tidigt tvingas till det mest effektiva. Det också mer än implementation av algoritmer utan generell arkitektur såväl som modell där den senare regelbundet behövs arbetats om för att hantera data effekt.

Att slå in stora datas kostnader gör man oavsett dataresurser och det kan tänkas vara bättre rörande mycket tidigare än sent. Men just i sådant här är det bara jobbigt och deprimerande. Ofta känns det som hanterande av debug-loading av data tar en massa tid från just dom delar av modell som är mest egna och som är så mycket trevligare att göra saker med.

Ursprungligen publicerad i Hans Husman om Media

Webbproblem hos Svenska Myndigheter

Community of Sweden var en trevlig sajt med nog ett långsiktigt värde för Sverige (och tilltalande vid en snabbtitt verkade det egenfinansierat via reklam vilket ju indikerar ett mer självgående värde i antalet aktörer man kanske kan förvänta sig allmänt i Sverige som skapar positivt värde jämfört med insatser av former som kräver statliga pengar för att ev. realisera det gemensammaw värdet) hittade jag i samband med att jag skev Svenska nyheter på engelska märks dåligt på nätet:

Den ger möjlighet till att dela upplevelsen av Sverige med bild och text i ett socialt media. Jag prövade och delade en första bild: Community of Sweden: Hans Husman

En bit av en kort kommentar jag skrev till dem kan också tänkas vara av intresse indikerade ett värde som just ges när vi delar upplevelse:

”Ett värde förutom att sociala media tenderar att ge ifrån sig även utanför sajten i spridd (även från det rent tekniska som syndikering) är att bildupplevelser och det abstrakta från vad jag noterat flera studier de senaste åren lättare just ger en positiv upplevelse till vad man kanske kan beskriva mötet ”upplevelse eller status-värde” och ”symbol både konkret och abstrakt”. Ex. här ”semester-resa som upplevelse” och kanske de abstrakta symbolerna exotiskt och tekniskt modernt resmål och Sverige i det abstrakta, respektive i de konkreta symbolerna olika resmål med dess värden visualiserade.”

Vid intresse kan jag leta fram studierna i artikelarkivet över forskning där denna del ännu ej är framtagen efter flytt. En kommentar jag skrev i NewScientist rör sig dock i väntan på det runt detta betraktat mer grundläggande: Kommentar i NewScientist om ”I” och ”We”.

En lösning jag föreslaget som kan hjälpa förutom om andra åtgärder är att köpa in nyhetsmaterial från tidningar lokaliserade i lämpliga delar inom olika för omvärlden intressanta ämnen ex. relaterade företag, trevliga orter, konst m.m. (minns jag rätt föreslog jag det i samband med en för synlighet webben helt felaktigt byggd webbplats som utvecklats med dessutom tämligen mager information om vissa svenska företag) och översätta för riktad publicering på engelska inom viktiga fokusområden.

Relaterat till problemen den lösning kan motverka noterade jag precis att svenska nyheter på engelska märks dåligt redan i den vanliga redaktionell publicering (inte ovanligt för mindre länder emedan större länder oftare har nyhetstidningar och sajter också på engelska).

För sökord relaterade till sweden news english och varianter. Få kvalitetstjänster märks och än mindre riktad mot den typ av nyheter omvärlden är mer intresserad av. Internationella länkkataloger, bloggar m.m. tar utrymme i brist på bättre. Vi ser också med några jämförelser att för samlade grupper av sökord där det ju summerar över kanske hundra relaterade att det är en viktig kanal.

Också förstår vi ett sekundärt kanske lika stort värde i varför jag sökte på sweden news english: Jag utökade listan av nyhetstjänster på engelska jag spindlar för att samla statistik kring händelser, företag, symboler m.m. och önskade fånga bättre perspektiv från Afrika, Pakistan, Japan, Sverige m.fl. mindre länder med en tydlig aktiv nyhetskultur också i hur de märkts förra året och gjorde det nu på morgonen för att avsluta med Sverige.

Det har värde att svenska nyhetskanaler på engelska kommer med i sammanhang där de används redaktionellt för länkar, indexeras i webb-syndikering, spindlas för analys m.m. Sverige märks mer vilket nog är bra för vår ekonomi och den svenska ofta sunt fridsamma filosofin till världen där vi ofta bidrar till länder och folk i kris kan tänkas ge världen välbehövlig visdom.

Sveriges Radio behöver inte vara ett dåligt alternativ just för det dock. Halvstatliga nyhetsinstitutioner även om nivån på det kanske (mycket troligt) är lägre i Sverige är tämligen intressanta i hur de inte sällan speglar statliga maktintressenter vilket även om det ger läsaren sämre nyheter just här är bra att få med. Jfr: Mass rally supporting Putin is due to take place in Moscow.

”Vi har en väldigt massa trevliga människor i vår kundtjänst och de får hundratusentals samtal. Problemet är att 5 procent av dessa går åt skogen. De påverkar bilden av Telia negativt.
[...]
– Jag begriper inte – hur svårt kan det vara? säger han till Dagens Industri.

Det är just Bredband som har störst problem:

”Kundtjänsten inom affärsområdet Bredband, där fast telefoni och bredband huserar, är det mest kritiska området.
[...]
Jag begriper inte – hur svårt kan det vara?”

Artiklar där jag sammanfattade problemen jag haft när jag köpte bredband till mina föräldrar:

Telia Bredband är problem och kostar tid (2012-02-01)
Telia Sverige svarar om problemen med Telia Bredband (2012-02-02)

Jag tror nog Nyberg tänker rätt i att man behöver agera från Telia centralt och där definiera vad som är acceptabel välfungerande support. Minst lika viktigt är varför problemen folk vill ha support om uppstår där jag tror den mest kritiska dimensionen är:

• Nya kunder som köpt bredband.
• Fungerar saker bra kan de bli evighetskunder.
• Fungerar saker dåligt byter de förr eller senare leverantör.
• Även om saker fungerar dåligt endast en kort period ökar det sannolikheten för att de när möjlighet finns tar sig tid och jämför Telia med andra leverantörer.
• Målsättningen för varje ny bredbands kund måste vara att:
  1. Saker levereras snabbt och effektivt där redundans för ex. modem behöver finnas. D.v.s. även om leverans ev. går direkt från en tredje-part till slutkund av ex. modem behöver Telia ha egna lager för ex. 20 – 40 dagar som backup för tredje-parts problem.
  2. När hårdvara når slutkund ska bredband redan vara klart och det enda som ska krävas ska vara att koppla hårdvara till dator och uttag för bredband.
  3. Med hårdvara behöver kompletterande idag en enkel punktlista med bilder i max tre – sju steg komma med.

The world’s most creative cities

Kanada är mer än för att vara artigt ett land också intressant i mötet mellan US, den anglosaxiska traditionen och franska influenser. De är som jag skrev också ett land jag ser som i internationell politik moraliskt ytterst trovärdigt utan att märkas särskilt mycket:

FN & Folkmord: Kanadas moraliska tyngd är värd respekt.

Läs gärna Nyfiken vital för tankemodell för kreativitet jag utgår från.

Jag beundrar också varje polis-konstapel som inte känner något behov av att smyga i uniformer anpassade för att i mörker skymmas av skuggorna utan dådkraftigt stiger upp på hästen i en knallröd uniform.

Foto: Naklig
Licens: Creative Commons by-sa 3.0

The Globe and Mail

Några uppgifter om The Globe and Mail från ägaren The Globe and Mail Inc.:

• Måndag till fredag totalt 310 957 i cirkulation.
• Lördagar: 377 873.

Publicerades tidigare i Hans Husman om Media.