Mizuho blog

Tento článok sa bude venovať perfektnému projektu NYPD, ktorému sa podarilo alokovať zdroje na zavedenie novej a veľmi pokrokovej súčasti ich informačného systému. Veľmi jemne naznačene, šlo o databázovú aplikáciu umožňujúcu urýchlené spracovávanie a komunikáciu údajov a ich následné zapracovanie pre účely reportingu a data miningu.

Po absolvovani seminaru Cognos Performance 2007 som velmi rad, ze mozem sprostredkovat par podrobnejsich informacii o tomto projekte, o sposobe jeho zavedenia a o jeho technickych specifikaciach.

pociatkom bolo 9/11

tento odstavec bude odpovedou na vsetky otazky typu "ako sa to cele zacalo," a "preco sa nypd rozhodlo zaviest novy informacny system".uz to tak vyzera, ze na pociatku vsetkeho, co sa v poslednych par rokoch stalo bol viac ci menej priamo jedenasty september a "dvojicky". rovnako tomu bolo aj v tomto pripade. po ohrozeni spojenych statov zacal zaroven so vsetkymi ostatnymi uvazovat aj policajny zbor v new yorku.vsetci si asi vieme predstavit, aky velky moze byt samotny policajny zbor v tomto meste. ked si potom skusime predstavit, ze vacsina z tychto ludi produkuje spolu s nonstop pristupnou telefonickou linkou nejake tie data, ktore su spracovavane takmer bez pravidiel, vyjde nam z toho jeden velmi kvalitny a zaroven velmi velky bordel. obrazne povedane ide o bordel tak velky, ze by nad nim nebolo mozne spravit takmer ziadne query a to toboz nie po uvedomeni si toho, ze tieto data boli z vacsej casti stale uchovavane len v papierovej podobe. ako ceresnicka na torte uz po tomto vsetkom posobi ten fakt, ze takato "papierova databaza" nebola jedna, ale bolo ich niekolko, podla oddeleni.vznikla teda klasicka situacia; organizacia si v nudzi uvedomila, ze urcita jej cast funguje len tak-tak.policajny zbor v new yorku mal teda problem. tym problemom boli vysoke naroky na spracovavanie a prevadzkovanie ich informacneho systemu. vychodiska boli dve; bud to prijat viac ludi, alebo prepracovat informacny system. vedenie policie sa v tomto pripade velmi spravne rozhodlo pre moznost druhu. ta totiz nielen splnala kriterium nizsich nakladov, ale ponukala aj dalsie, da sa povedat az velkolepe vymozenosti.novo navrhnuty informany system poskytoval moznost toho, comu sa hovori "real time processing". zjednodusene by sa rtp dalo popisat ako taky databazovy system, ktory dokaze v realnom casu zaznamenavat a spracovavat vsetky v nom obsiahnute udaje. ked sa nad tym clovek realne a hlbsie zamysli, asi len takzko moze nasledne najst este lepsie miesto na vyuzitie takehoto systemu, ako je policajny zbor. miesto cinu a stale dostupna policajna linka sa tym v realnom case prepojila jednak s policajnou centralou, jednak s uloznymi databazovymi systemami uchovavajucimi kvantum informacii o podozrivych a stihanych ludoch a zaroven aj s prave hliadkujucimi policajnymi jednotkami. obrovska mobilita, rychlejsia moznost zasahov a zvysena produktivita. k tomu, ci toto vsetko malo realny zmysel sa dostaneme za chvilu. zatial by som vas nechal kochat sa potencialom takehoto riesenia..

podrobnejsi popis potrieb

povodny system mal uz podla vyssie napisaneho nespocetne mnozstvo nevyhod. jeho najslabsimi strankami boli:

• pocetne neprepojene informacne databazy uchovavane len pre potreby daneho oddelenia a nie organizacie ako celku,
• data vo svojej povodnej podobe boli castokrat nekonzistentne a kvoli ich nestrukturovanosti znamenali pri hladani zbytocne precerpavanie zdrojov.

smer k vyrieseniu tychto problemov bol teda viac ci menej jasny. proces spracovavania udajov zacal ich filtrovanim. pocet redundantnych dat sa znizoval, cim sa zvysovala celkova kvalita uchovavanych informacii a k danym informacnym zdrojom boli vytvorene pristupove moznosti pre jednotlivych uzivatelov. pri budovani informacneho systemu sa prihliadalo najma na reportingove a implementacne potreby policajneho zboru. tieto su konkretnejsie popisane v nasledujucich dvoch zoznamoch:

poziadavky na reporting

• vhodne uzivatelske prostredie
• ad hoc podpora analyz
• integrovane zobrazenie on the big picture
• analyza trendov
• porovnavanie between districts
• informacie pre efektivnu alokaciu zdrojov

poziadavky na implementaciu

• bezpecnost a ochrana sukromnych udajov
• jednoduchy pristup
• integrovane zobrazenie dat
• kvalita dat

nazvom takto navrhnuteho riesenia sa stala skratka rtcc - real time crime center. z povodnych 2,3 miliona dat ich bolo do rtcc integrovanych 1,6 miliona, pricom slo o data ziskane zo staznosti spracovanych policajnou linkou a o zaznamy o zatknutych a podozrivych ludoch. toto na zaklade logickych kriterii nasledne umoznilo vyhladavat aj take informacie, ktore neboli v priamej suvislosti, resp urcite ich casti boli zmenene. tymto sposobom bolo mozne sledovat urcite osoby a patrat po ich skutocnej identite na zaklade suvisiacich tabulkovych poloziek, ako napriklad mena, rodne cisla, telefonne cisla a podobne.vsetky tieto vysledky ukazali v zasade nieco, co by bolo mozne zhrnut v nasledujucich troch bodoch:

• business intelligence uz viac nie je obmedzene len na tradicne sposoby vyuzitia, ako napriklad analyzy ci reporty
• v integrovanych nahladoch na data a informacie dokazu tieto vytvorit pridanu hodnotu pre kazdu organizaciu
• business intelligence dokaze setrit naklady a zdroje vyuzivane v procesoch planovania a reportingu

technicka specifikacia riesenia

to, ze do tohto systemu bol integrovany aj system satelitnych map by mohlo byt uz len ceresnickou na vrchole torty. predpokladam ale, ze vela ludi by zaujimalo zlozenie prave tych zakladov onej sladkosti, takze v skratke to vyzera asi nasledovne:

• business intelligence a cpm riesenia - cognos
• ibm middleware
• ibm hardware

vytvoril sa teda data warehouse, ktory vsak ma par zaujimavych odlisnosti vzhladom na bezne data warehouse-y. medzi tieto rozdiely patri najma:

• olap, dm - moznost hlbkovej analyzy dat, forecasting queries a reportingu
• real time processing - moznost ziskavania informacii v realnom case

velmi zavaznou otazkou pri budovani takychto systemov je vsak samozrejme aj bezpecnost. jedine, co mi ale k tejto teme hlavny databazovy sales manager ibm povedal bolo, ze vsetky prenosy a vsetky data su silne sifrovane. nie je to sice odpoved, ktora by pre ludi z oblasti security znela nejak uspokojivo, treba vsak pochopit asi aj jeho postoj :] tiez by som si nezobral na seba prezradenie fungovania systemu uchovavajuceho niekolko stotisicov udajov americkych obcanov :]]

no a co to cele vie robit?

tento system dokaze:

• zbierat a spracovavat udaje v realnom case, pricom prepaja policajnu centralu a jednotlive hliadky s data warehousom, ktory obsahuje vsetky informacie o ludoch, miestach a vobec :]
• umoznuje real time sledovanie diania v meste automatickym zbieranim dat z policajnej linky, na ktoru chodia staznosti ludi a zaroven sledovanie pozicii jednotlivych hliadok. tymto je zarucene znizenie casu potrebneho pre zasah: operator uvidi "miesto cinu", vyberie najblizsiu volnu hliadku, posle jej informacie o probleme, o danej oblasti a pripadne o zainteresovanych osobach a kym hliadka dorazi na dane miesto, bude vediet takmer viac, ako dana obet
• pomocou statistickych metod generuje dany system reporty o urcitych lokalitach a o ostatnych faktoroch externeho prostredia, pricom tieto su nasledne vyuzivane na analyzu. takyto system pomaha odhalovat suvislosti medzi jednotlivymi zlocinmi, ich pravdepodobnosti v danom case a na danom mieste, a podobne
• umoznuje sledovat suvislosti medzi osobami v databaze, co v konecnom dosledku napomaha pri sledovani ludi, ktori sa snazia menit svoju identitu, a zaroven umoznuje odhalit a sledovat prepojenia medzi urcitymi osobami, ci uz su tieto priame, alebo nepriame.
• a mnoho, mnoho dalsieho..

postupom casu by som mal obdrzat nejake dalsie podrobnejsie informacie o tomto projekte, takze myslim, ze tato seria bude mat este aspon jedno pokracovanie. ak teda niekoho tento projekt zaujima, odporucam zostat "tuned" ;]