robinlangell.com

Documentabler – A stand alone t-sql mini light-weight source code storage system

admin — Sun, 01 Apr 2012 16:01:13 +0000

Hi!

I’ve never been especially fond of source code systems. There’s no doubt that it is a tricky art of developing a suitable source code storage solution for many different reasons (which I won’t rant about here, you could probably google it easily). I’ve been in touch with three major ones, namely tortoise svn, sourcesafe 2005/2008 and TFS.

Now, being a business intelligence developer in t-sql, there are certain problems regarding development in test environments (test databases that is) when it comes to versioning. If you develop something with other collegues it is very easy to not be in synch with each other. If there are 2 persons developing on the same sql instance, then it’s quite easy to understand what the other one is up to. But add 1 more, and problems start to arise. If you’re not in the same location (e.g. if your collegues are home sick), things get even more messier. When that person comes back and sees that his entire work for the past week has been overwritten and hasn’t been checked in, this could mean that hours dissapears and coding efficency goes down. So what are you supposed to do with half finished code? If you check it in, someone might think the code is fine. If you put it on your laptop, you might forget about it.

I’ve been thinking about this off and on, and this weekend I started coding. My idea is that some great stuff must be stored at the server, right? The ones called INFORMATION_SCHEMA and sys-schema? How about doing a mini source code system for the server with information from these schemas? I started building a prototype, using some interesting tables found in INFORMATION_SCHEMA and sys. Since every database needs a name, I thought of documentabler, document-a-table-abler. A pun. Yes, a bit cheesy, but metadata_dw sounded boring.

After a few hours this weekend, I was done. So lets look at some features. These are tables:

dbo.dt_index dbo.dt_object dbo.dt_table dbo.dt_view

They store metadata about databases. Index stores table indexes, object stores SPs, UDFs and views. Table stores columns in tables and columns in views, dt_view is kind of redundant although good to have if you want to separate tables and views.

These in turn are populated by these SPs:
spUpdate_dt_index spUpdate_dt_object spUpdate_dt_table spUpdate_dt_view

And it is here where the magic happens. When providing these SPs with a parameter with a database name in it, the stored procedure fetches data into the documentabler database. I’v tried to streamline all the tables so they include this information:

[isLatest] [versionNr] [latestVersionNr] isIndexActive/isObjectActive/isViewActive/isColumnActive [RowContent] [validFrom] [validTo]

Creating a data warehouse for other databases! Yes, the solution is a SCD2-only data warehouse, meaning that every change is recorded to this database! What this means is that, if you create a sql server agent job which includes this
use documentabler go SET ANSI_NULLS ON GO


SET QUOTED_IDENTIFIER ON

GO

spUpdate_dt_index 'documentabler' spUpdate_dt_object 'documentabler' spUpdate_dt_table 'documentabler' spUpdate_dt_view 'documentabler'

and then run it regularly, you will get everything that is happening on a meta-metadata-level recorded. If you by mistake didn’t save your work, you might find it in there! Through the [validFrom] and [validTo] columns, you could go back in time and see what database changes has been made! So this could be the documentation, if there only was a commenting field…

And there is. the extended property! This is an metadata property that could be set on db level, table level and column level. However, the interface for this is quite tricky in ssms, especially for columns. To solve this, one needs to have a nice way of inserting and updating these fields. Do you have excel? Great! This is for you:

USE [documentabler] GO


/****** Object:  View [dbo].[v_exportExtendedPropertiesToExcel]    Script Date: 04/01/2012 17:26:35 ******/

SET ANSI_NULLS ON

GO
SET QUOTED_IDENTIFIER ON

GO
/****** Script for SelectTopNRows command from SSMS  ******/

CREATE VIEW [dbo].[v_exportExtendedPropertiesToExcel]

as

SELECT TOP 1000000 [dbName] ,[schemaName] ,[tableName] ,[columnName] ,isnull(columnExtendedProperty, '') as OldColumnExtendedProperty ,'' as NewColumnExtendedProperty ,'=CONCATENATE("execute [documentabler].[dbo].[sp_updateExtendedProperty] ''' + [dbName] + ''', ''' + [schemaName] + ''', ''' + [tableName] + ''', ''' + [columnName] + ''',''" & F' +cast(1 + ROW_NUMBER() OVER (ORDER BY dbName, schemaName, tableName, columnName) as nvarchar(10))+ '&"''")' as SQLScript FROM [documentabler].[dbo].[dt_table] WHERE isLatest = 1 ORDER BY dbName, schemaName, tableName, columnName GO

This view produces an excel-ready template, when inserted to excel shows all current extended properties, but also creates a script back to t-sql, making it user friendly to update and insert extended properties. And yes, the extended properties is also SCD2.

So this finalizes the first post about documentabler, use the link or surf to projekt->documentabler in the top row. This is free to use, however if you found it awesome, please contribute some money to the ones that needs it the most, to a charity organization of your choice.

Disclaimer: I take no responsibility for any bugs or mishaps you might encounter using this. Everyone should study the code carefully and use it wisely and not use this as a substitute for a real source code system.

Best wishes,
Robin

Some general updates

admin — Sun, 01 Apr 2012 14:52:13 +0000

Hello!

Since my last post my employment status has changed. I’ve been having a great time at Avanade but from november last year (2011) I am employed at the online casino/bet company Betsson as a business intelligence developer. Since I’m so lazy with my updates on this blog, I’ve got something really special for you coming up in the next post.

Since I also got some english speaking collegues who might be interested in the stuff I write and do I decided to write in my left-handed english. I hope you’ll find some stuff interesting.

//Robin

Skapa en datumdimension för ett data warehouse (inkluderar skript)

admin — Mon, 09 May 2011 20:06:52 +0000

Hej!

Grunden för all analys inom business intelligence är tid. Du vill se försäljning, lagervärden eller marknadsandelar under en vecka, ett år eller en månad. För att göra detta behöver du en tidsdimension till det fakta du vill analysera. Först skapar du en tabell som i mitt exempel heter dimDatum:

CREATE TABLE dbo.dimDatum ( datumNyckel INT NOT NULL, dag DATETIME NOT NULL, vecka INT NOT NULL, manad INT NOT NULL, kvartal INT NOT NULL, ar INT NOT NULL, dagimanad INT NOT NULL, dagivecka INT NOT NULL, arvecka INT NOT NULL, manadmednoll NVARCHAR(2) NOT NULL, dagnamn NVARCHAR(10) NOT NULL, manadsnamn NVARCHAR(20) NOT NULL

CONSTRAINT PK_DimDatum_datumNyckel PRIMARY KEY (datumNyckel) )

I denna tabell finner du bland annat månad, år, dag och dagnamn, men också kolumnen manadmednoll, en kolumn som kan vara bra att ha när du ska “sätta ihop” datum åt olika håll.

För att populera denna tabell behöver vi loopa framåt eller bakåt. Jag har valt att skapa ett skript som går bakåt. Du kan ändra skriptet enkelt att gå framåt genom att sätta minusvärde på parametern @nrofdaysback.

DECLARE @CurrentDate AS DATETIME DECLARE @NrOfDaysBack AS INT DECLARE @CurrentDaysBack AS INT


  SET @NrOfDaysBack = 2500

  SET @CurrentDaysBack = 0
  WHILE @CurrentDaysBack < @NrOfDaysBack

	BEGIN

	-- Ändra på minustecknet för att få värden för framtiden

		SET @CurrentDate = (SELECT DATEADD(D, -@CurrentDaysBack , GETDATE()))
		INSERT INTO dbo.dimDatum

		SELECT 
		CAST(CONVERT(nvarchar(10), @CurrentDate, 112) as int) as datumNyckel,

		CAST(CONVERT(nvarchar(10), @CurrentDate, 112) as DATETIME) as Dag,
		DATEPART(WEEK,@CurrentDate) as vecka,

		MONTH(@CurrentDate) as manad,

		DATEPART(Q,@CurrentDate) as kvartal,

		YEAR(@CurrentDate) as ar,

		DATEPART(DD,@CurrentDate) as dagimanad,

		DATEPART(WEEKDAY,@CurrentDate) -1 as dagivecka,

		CASE WHEN DATEPART(WEEK,@CurrentDate) < 10 THEN CAST(YEAR(@CurrentDate) AS NVARCHAR(4)) + '0' +  CAST(DATEPART(WEEK,@CurrentDate) AS NVARCHAR(2))

			ELSE  CAST(YEAR(@CurrentDate) AS NVARCHAR(4)) + CAST(DATEPART(WEEK,@CurrentDate) AS NVARCHAR(2))

		END as arvecka,

		CASE WHEN MONTH(@CurrentDate) < 10 THEN '0' + CAST(MONTH(@CurrentDate) AS NVARCHAR(2))

			ELSE CAST(MONTH(@CurrentDate) AS NVARCHAR(2))

		END as manadmednoll,

		CASE

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 1 THEN 'Måndag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 2 THEN 'Tisdag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 3 THEN 'Onsdag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 4 THEN 'Torsdag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 5 THEN 'Fredag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 6 THEN 'Lördag'

			WHEN DATEPART(WEEKDAY,@CurrentDate) -1 = 0 THEN 'Söndag'

		END	as dagnamn,
		CASE

			WHEN MONTH(@CurrentDate) = 1 THEN 'Januari'

			WHEN MONTH(@CurrentDate) = 2 THEN 'Februari'

			WHEN MONTH(@CurrentDate) = 3 THEN 'Mars'

			WHEN MONTH(@CurrentDate) = 4 THEN 'April'

			WHEN MONTH(@CurrentDate)= 5 THEN 'Maj'

			WHEN MONTH(@CurrentDate)= 6 THEN 'Juni'

			WHEN MONTH(@CurrentDate)= 7 THEN 'Juli'

			WHEN MONTH(@CurrentDate)= 8 THEN 'Augusti'

			WHEN MONTH(@CurrentDate)= 9 THEN 'September'

			WHEN MONTH(@CurrentDate)= 10 THEN 'Oktober'

			WHEN MONTH(@CurrentDate)= 11 THEN 'November'

			WHEN MONTH(@CurrentDate)= 12 THEN 'December'

		END	as manadsnamn

SET @CurrentDaysBack += 1 END

Och där har du din tidsdimension, redo att användas för att sortera fakta.

Ny inriktning

admin — Sat, 16 Apr 2011 19:20:19 +0000

Hej!

Från och med nu kommer denna blogg att byta inriktning, från att ha generellt handlat om webbutveckling kommer jag i fortsättningen skriva om Business Intelligence, och särskilt Microsofts Business Intelligence, dvs SQL Server, OLAP-kuber, Data Warehouses med mera. Detta kommer sig av den enkla anledningen att jag sedan förra sommaren jobbar med just det, på Avanade.

Jag kommer nog mest att posta lite allmänna funderingar, tips och trix kring buggar och felaktigheter jag har mött i min vardag som BI-konsult.

Consensus nya hemsida

admin — Thu, 03 Jun 2010 06:47:20 +0000

Idag är det officiell premiär för Consensus (HU-studenternas kår på Linköpings Universitet) nya hemsida!

Projektet startade i februari-mars och är nu klart! Jag hade ansvaret för pHp/funktioner och Ieva Sargautyte hade ansvaret för den otroligt fina designen.

Projektet var mycket kul, och det verkar som att Consensus också blev väldigt nöjda!

OS, resor, uppdrag

admin — Tue, 23 Feb 2010 21:55:51 +0000

Det är inte mycket uppdateringar här, dels har jag mycket att göra i skolan, men också utanför med lite uppdrag och resor kors och tvärs!

Sen är det ju också OS på kvällarna, vilket har en tendens att göra så att jag fastnar! Mer respektabla blogginlägg kommer senare..

Kursbetyg.se – Recensera och granska utbildningar på högskolor

admin — Fri, 05 Feb 2010 13:52:15 +0000

Nu öppnar jag upp mitt senaste projekt för allmänheten, kursbetyg.se!

Sajten är till för dig som tänker läsa eller har läst en kurs på ett universitet eller en högskola.

Du kan bland annat sortera utbildningarna inom ett ämnesområde på flera olika kriterier, däribland svårighetsgrad, litteratur, examination samt kvalité och studentinflytande.

Har du några idéer om förbättringar eller finns det buggar som stör dig, kontakta mig gärna genom att kommentera detta blogginlägg.

Du får självklart vara med och bidra, klicka här för att gå direkt till recensionssidan.
/Robin

Windows 3.1 – Nyutgåva

admin — Tue, 26 Jan 2010 19:46:07 +0000

Äntligen lite gammal hederlig nostalgi!

I min ungdom fick jag chansen att bekanta mig med både MS-DOS och en filhanterare min pappa sa hette “Meny”. Året kan ha varit någonstans mellan 1991-92, Jag kan inte hitta någon länk till just detta MS-DOS program, men Meny var verkligen något häftigt. Utseendemässigt var texten grön, bakgrunden svart, och den liknade i formen som en li-lista. Det var lite revolutionerande, med tanke på att man inte behövde använda några jobbiga kommandon.

Senare kom Windows 3.0 och sedan 3.1, ett GUI baserat på ett skrivbordsperspektiv, mycket inspirerat (läs: taget från) från Macintosh.

Till min glädje så hittade jag idag ett webbaserat Windows 3.1, vilket ger mig gamla goda vibbar av det glada 90-talet..

Nytt år – nytt projekt

admin — Fri, 15 Jan 2010 20:13:14 +0000

Jag har precis blivit klar med första delen av mitt nya projekt, en ny nischad recensionssajt!

Det har gått avsevärt mycket fortare än supportbetyg, tack vare den objektorienterade designen av just supportbetyg. Jag har allt som allt spenderat 10-15 timmar på det nya projektet, men mer tid kommer det troligen att bli.

Det som återstår är att bygga upp en enkel administration med hjälp av tablegear, samt att testa på CSS-ramverket 960gs!

Om några veckor eller så, då är det premiär!

7 Utmärkta JQuery-bloggar

admin — Tue, 05 Jan 2010 19:49:11 +0000

För det första vill jag önska dig ett gott nytt årtionde! Det sista årtiondet har bjudit på en extrem utveckling inom webben,vi har gått från web 1.0 till web 2.0, från att bara ett visst antal insatta nördars paradis till kleti och pletis modebloggar.. Internet har blivit var mans och kvinnas dagliga dos av underhållning och informationssökande..

Dagen till ära presenteras härmed de 7 bästa JQuery-bloggar jag hittills har stött på:

7. w3avenue.com

Denna blog innehåller en hel del mattnyttigt för den som är ute efter intressant information kring JQuery, men också intressanta artiklar om CMS, Twitter och en hel del annat smått och gott.

6. position-absolute.com/category/news/

Är den allmänna kategorin för allmänna tips för den inbitne webutvecklaren, visar ganska avancerad kodning, kolla exempelvis in denna artikel, hur du använder JQueryTouch med HTML5, riktigt grymt att använda när tablet-Macen kommer..

5. position-absolute.com/category/codesnippets/

Samma sida som ovan, men visar lite allmänna tips som kan snabba upp och förbättra dina sajter.

4. davidwalsh.name

David Walsh är en inspirerande man, finns det inte ute någon kodsnutt för ett visst ändamål, designar han det själv. Walsh kan även MooTools, CSS och lite annat.. se till att du kikar in hans sida ordentligt.

3. catswhocode

Katterna som kan blogga bjuder ofta på överraskningar och visar vägen för oss vanliga dödliga/människor. En mycket snygg och lätthanterlig sida.

2. myphpetc.com

Många intressanta inlägg, även denna blogg ger avancerade tips på hur du kan förbättra din sajt. Dock klart över min nuvarande förmåga..

1. jqueryfordesigners.com/ samt woorkup.com/tag/jquery/

Båda dessa sajter förtjänar att stå ut, JQuery for designers är helt inriktade på JQuery, och delar till och med upp sina snippets på svårighetsnivå, woorkup för dess simplicitet och härliga UI!