我需要从Azure数据仓库中取出大表,然后将它们移到独立的Azure SQL数据库中.我无法使数据工厂在我的场景中足够快地工作.我可以通过外部表从我的数据仓库中获取我的表到Blob存储.我无法弄清楚的是如何使用外部数据源在Azure SQL数据库上创建外部表到我的Blob存储.
这是用于将表格放入blob存储的格式文件,外部数据源和外部表:
CREATE EXTERNAL FILE FORMAT [DelimitedText] WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS ( FIELD_TERMINATOR = N'~¶~', USE_TYPE_DEFAULT = False ), DATA_COMPRESSION = N'org.apache.hadoop.io.compress.GzipCodec') GO CREATE EXTERNAL DATA SOURCE [myDataSource] WITH ( TYPE = HADOOP, LOCATION = N'wasbs://@ .blob.core.windows.net', CREDENTIAL = [myCredential]) GO CREATE EXTERNAL TABLE [dbo].[myTable] WITH ( DATA_SOURCE = [myDataSource] , LOCATION = N'MY_FOLDER/', FILE_FORMAT = [DelimitedText] ) AS SELECT * FROM dbo.mytable
我能够在Azure SQL数据库中创建的唯一外部数据源TYPE=SHARD_MAP_MANAGER
是正确的还是必要的?这个链接看起来我应该能够创建一个外部数据源,TYPE=HADOOP
但我得到一个"错误接近EXTERNAL"错误.我也无法创建外部文件格式.这可能在Azure SQL数据库中吗?
https://msdn.microsoft.com/en-us/library/dn935022.aspx#Examples:Azure SQL数据库
最后,我正在尝试为我的blob存储创建一个外部表,然后从该blob插入到我的Azure SQL数据库中的表中.然后放下容器.