Compleet verwijzing naar Informatica PARTITIONING

Compleet verwijzing naar Informatica PARTITIONING transformaties

PARTITIONEREN

  • Een pijpleiding bestaat uit een bron qualifier en alle transformaties en Targets dat de gegevens van die bron qualifier ontvangen.
  • Wanneer het Servicecentrum Integratie loopt de sessie, kan het hogere prestaties te bereiken door het verdelen van de pijpleiding en het uitvoeren van het extract, Transformatie, en de belasting voor elke partitie in parallel.

Een partitie is een pijpleiding fase die wordt uitgevoerd in een enkele lezer, transformatie, of Writer draad. Het aantal partities op een pijpleiding stadium is gelijk aan het aantal draden in het podium. Standaard is het Servicecentrum Integratie creëert een partitie in elke pijpleiding podium.


PARTITIONEREN ATTRIBUTEN

1. Partition punten

  • Standaard staat stelt partitie punten op verschillende transformaties in de pijplijn.
  • Partition punten markeren draad grenzen en verdeel de pijpleiding in stadia.
  • Een fase is een doorsnede van een pijpleiding tussen twee punten partitie.

2. aantal partities

  • kunnen we definiëren 64 partities op een partitie punt in een pijpleiding.
  • Als we verhogen of het aantal partities op een partitie punt te verlagen, de Workflow Manager verhoogt of verlaagt het aantal partities op alle Partition punten in de pijplijn.
  • het verhogen van het aantal partities of partitie punten verhoogt het aantal threads.
  • Het aantal partities maken we gelijk aan het aantal aansluitingen op de bron of het doel. Voor één partitie, zal één database verbinding worden gebruikt.
  • Het Servicecentrum Integratie zorgt voor een standaard partitie soort op elke partitie punt.
  • Als we de optie Partitioning, kunnen we de partitie wijzigen. Deze optie wordt apart aan te schaffen.
  • Het type partitie bepaalt hoe het Servicecentrum Integratie verdeelt gegevens tussen partities op partitie punten.

1. Round Robin Partition Type

  • In round-robin partitionering, het Servicecentrum Integratie verdeelt rijen gegevens gelijkmatig over alle partities.
  • Elke partitie verwerkt ongeveer hetzelfde aantal rijen.
  • Gebruik round-robin partitionering wanneer we nodig hebben om rijen gelijkmatig te verdelen en hoeven niet om gegevens te groeperen onder de partities.

2. Pass-Through Partition Type

  • In doorwerking partitionering, het Servicecentrum Integratie gegevens verwerkt zonder herverdelen rijen onder partities.
  • Alle rijen in een enkele partitie verblijf in die partitie na het oversteken van een pass-through-partitie punt.
  • Gebruik pass-through partitionering wanneer we willen data throughput te verhogen, maar we willen niet het aantal partities te verhogen.

3. Database Partitioning Partition Type

  • Gebruik databasepartitionering voor Oracle en IBM DB2 bronnen en IBM DB2 doelen alleen.
  • Gebruik een aantal pijpleidingen wanden en een aantal databasepartities.
  • We kunnen verbeteren wanneer het aantal partities pijpleiding gelijk aan het aantal databasepartities.

Database Partitioning met One Source

Wanneer we databasepartitionering met een bron kwalificatie met één bron, het Servicecentrum Integratie genereert SQL-query voor elke database partitie en verdeelt de gegevens uit de database partities onder de sessie partities Even.

Bijvoorbeeld, wanneer een sessie drie wanden en de database vijf verdelingen, 1e en 2e sessie partities data van 2 databasepartities ontvangen elk. Zo vier DB partities gebruikt. 3de Session partitie gegevens van de resterende 1 DB partitie.

Partitioneren van een bron Qualifier met Meerdere bronnen Tables

Het Servicecentrum Integratie creëert SQL-query’s voor database-partities op basis van het aantal partities in de database tabel met de meest partities.

Als de sessie drie wanden en de databasetabel twee partities, een van de zitting partities ontvangt geen gegevens.

4. Hash Auto-Keys Partition Type

  • Het Servicecentrum Integratie gebruikt alle gegroepeerd of gesorteerd havens als een verbinding Partitie sleutel.
  • Gebruik de hash auto-keys partitionering op of voor Rank, Sorter, Joiner, en ongesorteerde Aggregator transformaties om ervoor te zorgen dat de regels goed zijn gegroepeerd voordat ze deze veranderingen in te voeren.

5. Hash Gebruiker-Keys Partition Type

  • Het Servicecentrum Integratie maakt gebruik van een hash-functie te groeperen rijen van gegevens tussen partities.
  • definiëren we het aantal poorten om de partitie sleutel te genereren.
  • we kiezen voor de poorten die de partitie sleutel te definiëren.

6. Key range Partition Type

  • We geven aan een of meer poorten om een ​​verbinding partitie sleutel vormen.
  • Het Servicecentrum Integratie gaat gegevens naar elke partitie, afhankelijk van de Ranges we geven voor elke poort.
  • Gebruik toets range partitionering waar de bronnen of doelen in de pijplijn worden Gepartitioneerde door de belangrijkste bereik.
  • Voorbeeld: Klant 1-100 in een partitie, 101-200 in andere enzovoort. We definiëren het bereik voor elke partitie.

Bron: informaticatutorials-naveen.blogspot.com

Leave a comment

Your email address will not be published.


*


9 + negentien =