Paramètres de sources externes pour fichier plat
DataSync permet de se connecter à des ressources CSV locales et à distance. Reportez-vous aux sections ci-dessous pour configurer le paramètre URI à l'emplacement de la ressource CSV et tout autre paramètre nécessaire à la connexion à votre source de données.
Authentification de base
Local | HTTP ou HTTPS | Online SOAP SharePoint | FTP ou FTPS | SFTP | |
---|---|---|---|---|---|
Formats du URI |
localPath file://localPath |
http://remoteStream https://remoteStream |
sp://remotePath |
ftp://server:port/remotePath ftps://server:port/remotepath |
sftp://server:port/remotePath |
User |
Facultatif |
Obligatoire |
Obligatoire |
Facultatif |
|
Password |
Facultatif |
Obligatoire |
Obligatoire |
Facultatif |
|
AuthScheme |
Facultatif |
Se connecter aux fichiers locaux
Configurez le URI au répertoire qui contient les fichiers CSV.
Voici un exemple de chaîne de connexion :
URI=C:\folder1;
Vous pouvez aussi vous connecter à plusieurs fichiers CSV qui partagent le même schéma. Voici un exemple de chaîne de connexion :
URI=C:\folder; AggregateFiles=True;
Si vous préférez déclarer tous les fichiers CSV individuels sous forme de tableaux, laissez ce paramètre à False.
URI=C:\folder; AggregateFiles=False;
Se connecter à HTTP
Configurez le URI à l'URL HTTP ou HTTPS de la ressource CSV à laquelle vous voulez accéder sous forme de tableau. Par exemple :
URI=http://www.host1.com/streamname1;
Pour l'authentification, configurez AuthScheme et les paramètres correspondants. Spécifiez des en-têtes supplémentaires dans CustomHeaders pour modifier la chaîne de requête avec CustomUrlParams.
Pour interroger le flux CSV, référencez streamedtable comme nom de table.
SELECT * FROM streamedtable
Se connecter à Online SOAP SharePoint
Configurez le URI à la librairie de documents qui contient les fichiers CSV. Pour vous authentifier, spécifiez votre nom d'utilisateur, votre mot de passe et l'URL de SharePoint.
Par exemple :
URI=sp://Documents/folder1; User=user1; Password=password1; SharepointUrl=https://subdomain.sharepoint.com;
Se connecter à FTP
Configurez le URI à l'adresse du serveur suivie du chemin du répertoire qui va être utilisé comme répertoire racine. Pour vous authentifier, spécifiez le nom d'utilisateur et le mot de passe.
Par exemple:
URI=ftps://localhost:990/folder1; User=user1; Password=password1;
Amazon
Amazon S3 | |
---|---|
Formats du URI |
s3://remotePath |
AWSAccessKey |
Obligatoire (votre clé d'accès) |
AWSSecretKey |
Obligatoire (votre clé secrète) |
AWSRegion |
Facultatif |
Se connecter à Amazon S3
Configurez le URI au bucket et au répertoire. En outre, définissez les paramètres suivants pour l'authentification :
-
AWSAccessKey : Spécifiez une clé d'accès des services Web d'Amazon (un nom d'utilisateur).
-
AWSSecretKey : Spécifiez une clé secrète des services Web d'Amazon.
Par exemple :
URI=s3://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO
;
Vous pouvez aussi spécifier AWSRegion de façon facultative.
Il est également possible de se connecter à des services compatibles avec S3 en spécifiant leur URL de base.
Par exemple, si la connexion de l'URL est configurée à http://s3.%region%.myservice.com
et la Region est à region-1
, la requête URL générée sera similaire à https://s3.region-1.myservice.com/bucket/..
(ou similaire à https://bucket.s3.region-1.myservice.com/..
si le paramètre UseVirtualHosting est réglé à True
).
Azure
Stockage Blob Azure | Data Lake Store Gen1 Azure | Data Lake Store Gen2 Azure | Data Lake Store Gen2 Azure avec SSL | |
---|---|---|---|---|
Formats du URI |
azureblob://mycontainer/myblob/ |
adl://remotePath adl://Account.azuredatalakestore.net@remotePath |
abfs://myfilesystem/remotePath |
abfss://myfilesystem/remotePath |
InitiateOAuth |
Obligatoire |
|||
OAuthClientId |
Facultatif |
|||
OAuthClientSecret |
Facultatif |
|||
OAuthAccessToken |
Facultatif |
|||
AuthScheme |
Obligatoire |
|||
AzureAccount | Obligatoire |
Obligatoire |
Obligatoire |
Obligatoire |
AzureAccessKey | Obligatoire (votre clé d'accès) |
Obligatoire (votre clé d'accès) |
Obligatoire (votre clé d'accès) |
Se connecter au stockage Blob Azure
Configurez le URI au nom de votre contenant et au nom du Blob. En outre, définissez les paramètres suivants pour l'authentification :
-
AzureAccount : Spécifiez le compte associé au Blob Azure.
-
AzureAccessKey : Spécifiez la clé d'accès associée au Blob Azure.
Par exemple :
URI=azureblob://mycontainer/myblob/; AzureAccount=myAccount; AzureAccessKey=myKey
;
Se connecter au Data Lake Store Gen 2 Azure
Configurez le URI au nom du système de fichiers et au nom du répertoire qui contient vos fichiers CSV. En outre, définissez les paramètres suivants pour l'authentification :
-
AzureAccount : Spécifiez le compte associé au Data Lake Store.
-
AzureAccessKey : Spécifiez la clé d'accès associée au Data Lake Store.
Par exemple :
URI=abfs://myfilesystem/folder1; AzureAccount=myAccount; AzureAccessKey=myKey
;
URI=abfss://myfilesystem/folder1; AzureAccount=myAccount; AzureAccessKey=myKey
;
Wasabi
Wasabi | |
---|---|
Formats du URI |
wasabi://bucket1/remotePath; |
AccessKey |
Obligatoire (votre clé d'accès) |
SecretKey |
Obligatoire (votre clé secrète) |
Region |
Facultatif |
OracleNamespace |
Se connecter à Wasabi
Configurez le URI au bucket et au répertoire. En outre, définissez les paramètres suivants pour l'authentification :
-
AWSAccessKey : Spécifiez une clé d'accès de Wasabi (un nom d'utilisateur).
-
AWSSecretKey : Spécifiez une clé secrète de Wasabi.
Vous pouvez aussi spécifier AWSRegion de façon facultative.
Par exemple :
URI=wasabi://bucket1/folder1; AWSAccessKey=token1; AWSSecretKey=secret1; AWSRegion=OHIO;
Oracle Cloud
Stockage Oracle Cloud | |
---|---|
Formats du URI | os://bucket/remotePath; |
AccessKey |
Obligatoire (votre clé d'accès) |
SecretKey |
Obligatoire (votre clé secrète) |
Region |
Facultatif |
OracleNamespace |
Obligatoire |
Se connecter au stockage Oracle Cloud
Configurez le URI au bucket et au répertoire. En outre, définissez les paramètres suivants pour l'authentification :
-
AccessKey : Spécifiez la clé d'accès du Oracle Cloud.
-
SecretKey : Spécifiez la clé secrète du Oracle Cloud.
-
OracleNamespace : Spécifiez le namespace du Oracle Cloud.
Par exemple :
URI=os://bucket/remotePath/; AccessKey=token1; SecretKey=secret1; OracleNamespace=myNamespace; Region=us-ashburn-1;
Vous pouvez aussi spécifier Region de façon facultative.