SSIS – MSSQL Integration Services

19 Jan 2008 In: Programiranje

Microsoft SQL Server Integration Services (SSIS) predtavljaju skup alata koji za cilj imaju da zamene SQL Server DTS i umnogome olakšaju posao transformacije podataka.
SSIS je potpuno novi proizvod razvijen od nule i deo je paketa aplikacija koji se isporučuju sa SQL Serverom 2005 i služi za uvoz izvoz ili transformaciju podataka, a pruža podršku za najrazličitija skladišta podataka.

Izgradnja i upravljanje SSIS projektom obavlja se iz MS Visual Studija, a projekat se nalazi u Business Intelligence Projects delu.

BI projekat sastoji se od paketa u okviru kojih se mogu kreirati složeni procesi za rad sa podacima. Sva podešavanja željenih transformacija obavljaju se preko Control Flow interfejsa. Ovde se prevlače kontrole koje će učestvovati u nekom opštem izvšenju. Za standardne operacije dovoljno će biti da dodate Data Flow Task. Kada je napravljen bar jedan Data Flow tada se može pristupiti izgradnji jednog transformacionog procesa.

Povezivanje kontrola u DataFlow

U okviru kreiranja DataFlow-a, mogu se koristiti tri različite vrste kontrola: Sources (izvori podtaka), Transformations (transformacije podtaka), Destinations (odredište podataka). Za najjednostavnije presipanje iz tekstualnih falova ili Excela bice dovoljni samo Source i Destination kontrole ali ako budete hteli da i podatke menjate prilikom učitavanja tu su na raspolaganju najrazličitije transformacione kontrole. Ovde bih izdvojio samo nekoliko sa kojima sam imao prilike da radim, smatram da su dovoljno ilustrativne da se vidi koliko je moćan novi SSIS.

Derived Column – izuzetno korisna transformacija kada postoji potreba da se u toku migracije podataka doda nova kolona koja je izvedena iz postojećih kolona, ili ako je potrebno samo izvršiti neku obradu nad podacima u samo jednoj koloni, u tom slučaju može se podesiti da nova kolona zameni postojeću iz koje je izvedena.
Data Conversion – Ukoliko iz bilo kog razloga pri samom definisanju izvora podataka nije moguće odrediti odgovarajući tip podatka, tada se naknadno može izvršiti ova konverzija tipova.
Multicast – nenormalizovane podatke koji stoje u jednoj tabeli najlakše je raspodeliti u više tabela transformacijom multicast.
Lookup – kada je potrebno izvršiti remapiranje šifarnika najbolje je koristit lookup kontrolu koja omogućava definisanje jednog ili više polja  koje će se uparivati, a nova vrednost će biti ubačena u podatke koje transformišemo
Script – kontrola se može koristiti u tri oblika, kao input, output i kao kontrola za transformaciju podataka. Sjajna primena je generisanje id-jeva koji se mogu direktno koristiti za insert u tabele koje su povezane relacijama.

Jedna od najvećih mana Integration Services je to sto u slučaju grešaka koje mogu nastati iz različitih razloga, ali pre svega usled importa “prljavih podataka” ne postoji način da se dobije neka smislena poruka zbog čega je došlo do greške. Ono što je sjajno uradjeno su posebni error kanali u koje se ti pogrešni redovi praktično prosledjuju i na kraju čitavog procesa ti obično flat fajlovi se mogu pogledati i sve što nije prošlo kroz transformaciju, vraća se nazad na analizu.

Hdr fotografija

10 Aug 2007 In: putovanja

HDR fotografija izazvala je dosta interesovanja i omogućila fotografima ono što je do sada bilo nemoguće. Radi se o tehnici koja kombinovanjem višestrukih ekspozicijja povećava dinamiku fotografije. Večiti problem prilikom eksponiranja bio je to što film, a sada i digitalni senzor fotoaparata ne mogu snimiti fotografiju na onaj način kako ga ljudsko oko posmatra.

Ukoliko postoje izrazito svetli ili tamni delovi fotografije, ekspozicijom se nešto mora odseći ili će npr. nebo biti potpuno belo (preeksponirano) da bi se jasno videli detalji u senci ili će nebo biti normalne boje i sa puno detalja, ali tada će objekti u senci biti potpuno crni. Prevazilaženje ovih nedostata spada u domen HDR tehnike (High Dynamic Range) koja nekoliko istovetnih fotografija, samo različito eksponiranih spaja u jednu, koja je ravnomerno exponirana u svim svojim tačkama.

Pravilo kaže da se najbolji rezultati dobijaju ako se fotoaparat postavi na stativ i zatim se najmanje 3x fotografiše isti pejzaž, sa normalno izmerenim svetlom. Ostale dve se dobijaju korekcijom +- 1 ili +-2 u odnosu na normalnu fotku.

Sve što je potrebno je da se dobijene fotografije učitaju u program kao što je PhotoMatrix i da se generiše HDR fotografija, na koju se primenjuje algoritam Tone mapping.

Gornja slika je slikana sa Olympus e-500 fotoaparatom u RAW formatu, a zatim je u Photoshopu korigovana ekspozicija da bi se dobile 3 fotografije koje sada softver vidi kao tri potpuno različite (različito eksponirane) fotografije. Smatram da je dobijeni rezultat dovoljan dokaz da možete dobiti pristojne HDR fotografije i iz RAW fotografija. Naravno ukoliko vaš aparat ne podržava ovu mogućnost moraćete da slikate 3x i da se nadate da se objekti neće naročito ispomerati izmedju ekspozicija.

Tara – fotografije

25 Jun 2007 In: putovanja

Pogled na akumulaciono jezero Perućac sa vidikovca Kozja stena na Tari. Korišćen je polarizacioni filter kako bi istakao plavu boju neba naspram belih oblaka

Najkraća reka u Srbiji, ima metara koliko godina ima dana… Fantastičan kraj, a kafana je na pravom mestu na samom ušću ove rečice u Drinu. Snimano sa ekspozicijom od 2,5 sekunde i otvorom blende 22, sa ciljem da se dobije plastičan i zamazan izgled vode u potoku.

Planinski obronci na putu Bajina Bašta – Valjevo.

Direktno sa twitter-a

Pratite me na twitteru! Vrlo dobar članak, binarna serijalizacija i kompresija sa WCF servisima


Slamarica.com

Ukoliko imate probleme sa vođenjem vaših kućnih i ličnih finansija, probajte Slamaricu ona to radi odlično.  

Brzo i kratko…

Nike+ Running & GS
Nekoliko korisnih informacija za sve koji koriste Nike+ sistem. FAQ za pojmove koji se pojavljuju kroz sistem. A ako se spremate kao i ja za 5K uz Jay-a, obavezno pogledajte i njegove savete vezane za poboljšanje opšte snage (GS – general strength). (1)

Novo takmičenje VIP Izazov 2.0
Nakon relativno uspešnog (bar za učesnike) takmičenja u programiranju aplikacija za Android platformu, VIP se odlučio da ponovi oprobani recept i da sa fondom od 22.000 EUR namami talentovane programere da se takmiče u nekoliko novih kategorija. Posebno interesantna kategorija, barem meni je ona za unapređenje aplikacije iz prethodnog kruga takmičenja. Android Slamarica dobiće face lift, i još nekolko extremno dobrih poboljšanja. VIP Android izazov 2.0 (5)

Besplatna obuka iz knjigovodstva
Veliki broj korisnih članaka na ovom blogu organizovani su u oblik lekcija iz knjigovodstva. Kako se računa PDV, kako se oporezuju paušalci i šta su obavezni elementi fakture su samo neki od naslova. Pravac na blog. (1)

JTwitter
JTwitter je Java bibilioteka za Andorid platformu koja se veoma lako može uključiti u svaki projekat. Adresa projekta je : http://www.winterwell.com/software/jtwitter.php (0)

FBRocket
Facebook framework za Android platformu FBRocket: http://xeomax.net/fbrocket/, iako u alfa verziji već obećava. (0)

zxing
Na linku http://code.google.com/p/zxing/ može se pronaći biblioteka za procesiranje bar kod informacija. Biblioteka je pisana za Android platformu u Java programskom jeziku. (0)

Slipstream SQL Server 2008
Detaljno uputstvo kako da napravite slipstream instalaciju za SQL Server 2008. Nadam se da će ovo rešiti problem instalacije na Win7-mici. link (1)

Online raketne prezentacije
Pogledajte obavezno sta sve može da se izvuče iz browsera, pomoću ovog zanimljivog servisa za pravljenje online prezentacija. www.SlideRocket.com (0)

Certified Scrum Master - Kurs
U organizaciji prof. Siniše Vlajića na FON-u biće organizovan kurs za sertifikovane SCRUM mastere. Predavači su eminentni stručnjaci iz ove oblasti: James Coplien, Dan Rawsthorne, Alan Cyment i Branislav Selić. Prijava još danas. Link (0)

Pretraga ikona
Milion puta potrebna mi je brzo ikonica za neki projekat.  Par linkova za pretragu i nalaženje velikog broja ikonica, IconLook, IconLet, IconFinder. (0)

Besplatni časopisi za sve
Odličan servis sa gomilom aktuelnog materijala… Skoro po pravilu časopisi su nosioci novih ideja i trendova a knjige to kasnije sve isprate… budite u toku sa ISSUU.COM - by Nemke. (0)

PHP & ORM
Natrčao sam slučajno na zanimljiv ORM frame za PHP Doctrine ORM . Kada bude bilo više vremena možda vredi pogledati i maznuti neku dobru ideju, iako na prvi pogled deluje da su ga malo zakomplikovali. (0)

Mini postovi
Obicno nemam vremena da pisem duze postove ali ovo ce posluziti u slucaju da se nadje nesto zanimljivo, verovatno link ili neki kratak komentar… (0)