Interessanter Weise enth\u00e4lt der Microsoft-Artikel folgende Stelle – markiert als wichtig (ca. in der Mitte des Artikels):<\/p>\n\n\n\n
- Wenn Sie Daten aus Dynamics kopieren, ist die explizite Spaltenzuordnung aus Dynamics zur Senke optional. Es wird jedoch dringend zu der Zuordnung geraten, um ein deterministisches Kopierergebnis sicherzustellen. <\/li>
- Wenn ein Schema in Data Factory in der Erstellungsbenutzeroberfl\u00e4che importiert wird, wird auf das Schema r\u00fcckgeschlossen. Dies erfolgt, in dem die obersten Zeilen aus dem Ergebnis der Dynamics-Abfrage gesamplet werden, um die Liste der Quellspalten zu initialisieren. In diesem Fall werden Spalten ohne Werte in den obersten Reihen ausgelassen. Dasselbe Verhalten gilt f\u00fcr Kopiervorg\u00e4nge, wenn keine explizite Zuordnung vorliegt. Sie k\u00f6nnen Spalten \u00fcberpr\u00fcfen und weitere zur Zuordnung hinzuf\u00fcgen. Diese Spalten werden auch w\u00e4hrend der Laufzeit des Kopiervorgangs ber\u00fccksichtigt.<\/li><\/ul>\n\n\n\n
Hier ist also genau unser Problem <\/strong>beschrieben: Wenn eine Zeile viele NULL-Werte enth\u00e4lt, kann es (nicht deterministisch) passieren, dass die Inhalte der Spalte nicht \u00fcbertragen wird, wenn kein Schema definiert ist.<\/p>\n\n\n\n
Unser ursr\u00fcnglicher Code<\/h2>\n\n\n\n
Unsere Einstellungen der Copy-Aktivit\u00e4t sahen so aus:<\/p>\n\n\n\n
Zun\u00e4chste die Quelle<\/strong>:<\/p>\n\n\n\n
![\"Einstellungen](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/04\/Quelle-1024x452.png\")
<\/a>Quelle der Copy-Aktivit\u00e4t<\/figcaption><\/figure>\n\n\n\n Wie man sieht, verwenden wir ein Fetch-XML als Abfrage mit<\/p>\n\n\n\n
- einem Filter-Kriterium, da wir nur bestimmte Datens\u00e4tze ermitteln wollen. (Deswegen ist die Abfrage auch dynamisch)<\/li>
- genannten Attributnamen, da wir nicht alle Spalten \u00fcbertragen wollen<\/li>
- einem Join (link-entity) auf eine andere Entit\u00e4t, aus der wir auch einige Attribute entnehmen.<\/li><\/ul>\n\n\n\n
Die Senke <\/strong>sieht so aus:<\/p>\n\n\n\n
![\"Senke\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/04\/Senke.png\")
<\/a>Senke der Copy-Aktivit\u00e4t<\/figcaption><\/figure>\n\n\n\n Hier ist eigentlich nur zu beachten, dass wir keine Tabellen-Option gew\u00e4hlt haben, also die Tabelle nicht automatisch gem\u00e4\u00df des Schemas aus der Quelle erstellen lassen.<\/p>\n\n\n\n
Der Zuordnung<\/strong>s-Reiter sieht wie folgt aus:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/04\/Zuordnung-1024x130.png\")
<\/a>Zuordnung der Copy-Aktivit\u00e4t<\/figcaption><\/figure>\n\n\n\n Also verwenden wir ein dynamisches Mapping.<\/p>\n\n\n\n
L\u00f6sung<\/h2>\n\n\n\n
Die L\u00f6sung ist damit auch klar: Wir brauchen ein Schema in der Zuordnung. Es reicht aber nicht aus, das Schema zu importieren, weil beim Importieren des Schemas das gleiche passieren kann: Wenn eine Spalte NULL-Werte hat (im Sample) wird sie nicht als Quell-Spalte gesehen, z.B. hier (man sieht nur einen Ausschnitt):<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/05\/importiertesSchema-1024x383.png\")
<\/a>Zuordnung mit importierten Schemas<\/figcaption><\/figure>\n\n\n\n Wir m\u00fcssen also ein dynamisches Schema in der Zuordnung angeben:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/05\/Zuordnung_dynamisch.png\")
<\/a>dynamische Zuordnung<\/figcaption><\/figure>\n\n\n\n Wenn wir diese dynamische Zuordnung definiert haben, wobei wir f\u00fcr jede Spalte eine Definition hinterlegt haben, funktioniert es \ud83d\ude42<\/p>\n\n\n\n
Wie kommen wir nun zu der L\u00f6sung?<\/p>\n\n\n\n
Vorgehen<\/h2>\n\n\n\n
Wir m\u00fcssen also ein Mapping definieren, das so aussieht:<\/p>\n\n\n\n
{\n \"type\": \"TabularTranslator\",\n \"mappings\": [\n {\n \"source\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n },\n \"sink\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n }\n },\n {\n \"source\": {\n \"name\": \"statuscode\",\n \"type\": \"Int32\"\n },\n \"sink\": {\n \"name\": \"statuscode\",\n \"type\": \"Int32\"\n }\n }\n ]\n}<\/pre>\n\n\n\nIn diesem Beispiel werden zwei Spalten gemappt (statecode und statuscode) – und die Spalten hei\u00dfen jeweils in der Quelle und im Ziel gleich.<\/p>\n\n\n\n
Wie k\u00f6nnen wir nun ein solches JSON einfach erzeugen?<\/h4>\n\n\n\n
In unserem Falll war es so, dass wir alle Zieltabellen bereits angelegt hatten. Das kann man zum Beispiel dadurch erreichen, dass man als erstes die Tabelle als ganzes (also nicht mit Fetch-XML) kopiert – und in der Senke „Tabelle automatisch erstellen“ anw\u00e4hlt.<\/p>\n\n\n\n
Dann sind wir so vorgegangen (was ich im Nachfolgenden genauer beschreiben werde):<\/p>\n\n\n\n
- In der Zuordnung Schema importieren<\/li>
- Im Code der Pipeline den entsprechenden Block (translator) kopieren<\/li>
- In einem JSON-Editor fehlende Mappings (es steht nur eine Sink aber keine Source drin) korrigieren<\/li>
- Zuordnung wieder l\u00f6schen<\/li>
- dynamischen Inhalt hinzuf\u00fcgen als @json(<generiertes JSON>)<\/li><\/ol>\n\n\n\n
Nun die Punkte im Detail:<\/p>\n\n\n\n
1. In der Zuordnung Schema importieren<\/p>\n\n\n\n
Das ist klar.<\/p>\n\n\n\n
2. Im Code der Pipeline den entsprechenden Block (translator) kopieren<\/p>\n\n\n\n
\u00dcber das Symbol {} gelangt man zur Codeansicht der Pipeline:<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/05\/CodeAnzeigen-1024x67.png\")
<\/a>Codeansicht via {}<\/figcaption><\/figure>\n\n\n\n Diesen Code kopiert man in einen JSON-Editor (z.B. Visual Studio). Dort sucht man nach „TabularTranslator“. Man findet dann eine Stelle, die ungef\u00e4hr so aussieht:<\/p>\n\n\n\n
...\n\"translator\": {\n \"type\": \"TabularTranslator\",\n \"mappings\": [\n {\n \"source\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n },\n \"sink\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n }\n },\n {\n \"source\": {...<\/pre>\n\n\n\n(Falls man in seinem Code mehrere Copy-Tasks hat, muss man nat\u00fcrlich aufpassen. Allerdings ist vor dem translator-Knoten der sink-Knoten und danach der inputs- und outputs-Knoten, so dass man genau sieht, an welcher Stelle man gerade ist)<\/p>\n\n\n\n
Wir entnehmen nun diesen Code – die geschweifte Klammer nach >>“translator“ : <<<\/p>\n\n\n\n
3. In einem JSON-Editor fehlende Mappings (es steht nur eine Sink aber keine Source drin) korrigieren<\/p>\n\n\n\n
Wenn wir diesen Code genauer anschauen, sehen wir die source-sink-Paare. Allerdings sind dort, wo der automatische Schema-Import keine Treffer finden konnte (weil die Spalten in der Quelle wegen der NULL-Werte nicht drin waren), keine source-Knoten vorhanden.<\/p>\n\n\n\n
Aus<\/p>\n\n\n\n
\u2026\n{\n\"sink\": {\n\"name\": \"importsequencenumber\",\n\"type\": \"Int32\"\n}\n},\n\u2026<\/pre>\n\n\n\n
machen wir also folgendes:<\/p>\n\n\n\n...\n {\n \"source\": {\n \"name\": \"importsequencenumber\",\n \"type\": \"Int32\"\n },\n \"sink\": {\n \"name\": \"importsequencenumber\",\n \"type\": \"Int32\"\n }\n },\n...<\/pre>\n\n\n\nWir verwenden also den gleichen Namen und den gleichen Datentyp.<\/p>\n\n\n\n
4. Zuordnung wieder l\u00f6schen<\/p>\n\n\n\n
Dieser Schritt ist wieder einfach. Man muss auf den Papierkorb klicken.<\/p>\n\n\n\n
5. dynamischen Inhalt hinzuf\u00fcgen als @json()<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.csopro.de\/biblog\/wp-content\/uploads\/2021\/05\/DynamischenInhalthinzufuegen.png\")
<\/a>dynamischen Inhalt hinzuf\u00fcgen<\/figcaption><\/figure>\n\n\n\n Der Link „Dynamischen Inhalt hinzuf\u00fcgen“ erscheint, wenn man mit der Maus in die N\u00e4he kommt. Dort klickt man drauf und kann im Editor Code eingeben.<\/p>\n\n\n\n
Der Code sieht dann z.B. so aus:<\/p>\n\n\n\n
@json('{\n \"type\": \"TabularTranslator\",\n \"mappings\": [\n {\n \"source\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n },\n \"sink\": {\n \"name\": \"statecode\",\n \"type\": \"Int32\"\n }\n },\n { ...<\/pre>\n\n\n\nMan beachte, dass ich nach @json( ein einfaches Anf\u00fchrungszeichen und innerhalb des JSON doppelte Anf\u00fchrungszeichen verwendate habe.<\/p>\n\n\n\n
Eine Sache muss man hier noch beachten – es kann sein, dass der Code zu lang wird, so dass Azure Data Factory einen Fehler anzeigt. Wie man den behebt, beschreibe ich im n\u00e4chsten Blogeintrag.<\/p>\n","protected":false},"excerpt":{"rendered":"
Fehlersituation In meinem aktuellen Projekt lesen wir aus Dynamics CRM 365 Daten in unser Data Warehouse, das wir unter Azure gebaut haben. Wir hatten dabei ein Problem: In einigen Tabellen gibt es Spalten, die in vielen Zeilen nicht gef\u00fcllt sind. Wir hatten identische Testdatens\u00e4tze, die an zwei unterschiedlichen Tagen nach CRM importiert wurden (durch ein … Zugriff auf CDS von Azure Data Factory: Umgang mit Spalten mit vielen NULL-Werten<\/span> weiterlesen