当前访客身份:游客 [ 登录 | 加入 OSCHINA ]

代码分享

当前位置:
代码分享 » C#  » 数据库编程
逆风扬

oracle ODP.NET 批量插入或更新

逆风扬 发布于 2012年07月26日 19时, 5评/5664阅
分享到: 
收藏 +0
1
使用ADO.NET提供的功能访问Oracle库要进行批量数据的插入或者更新的时间太慢了,对于10W级别的数据基本上都在5分钟左右;然而利用ODP.Net本身提供的一种数组参数功能来实现批量操作, 结果整个插入或更新的时间大大缩减到5秒以下,同时还支持包含Blob数据的批量处理,其代码如下:

代码片段(1) [全屏查看所有代码]

1. [文件] code.cs ~ 7KB     下载(297)     跳至 [1] [全屏预览]

/// <summary>
///  批量插入数据
/// </summary>
/// <param name="tableName">表名称</param>
/// <param name="columnRowData">键-值存储的批量数据:键是列名称,值是该列对应的数据集合</param>
/// <returns></returns>
public int BatchInsert(string tableName, Dictionary<string,object[]> columnRowData)
{
    if (string.IsNullOrEmpty(tableName))
    {
        throw new ArgumentNullException("tableName", "必须指定批量插入的表名称");
    }

    if (columnRowData == null || columnRowData.Count < 1)
    {
        throw new ArgumentException("必须指定批量插入的字段名称", "columnRowData");
    }

    int iResult = 0;
    string[] dbColumns = columnRowData.Keys.ToArray();
    StringBuilder sbCmdText = new StringBuilder();
    if (columnRowData.Count > 0)
    {
        // 准备插入SQL
        sbCmdText.AppendFormat("INSERT INTO {1} (", tableName);
        sbCmdText.Append(string.Join(",", dbColumns));
        sbCmdText.Append(") VALUES (");
        sbCmdText.Append(":" + string.Join(", :", dbColumns));
        sbCmdText.Append(") ");

        using (OracleConnection conn = new OracleConnection("数据库连接字符信息"))
        {
            using (OracleCommand cmd = _oraDbConn.CreateCommand())
            {
                // 绑定批处理的行数
                cmd.ArrayBindCount = columnRowData.Values.First().Length; // 很重要
                cmd.BindByName = true;
                cmd.CommandType = CommandType.Text;
                cmd.CommandText = sbCmdText.ToString();
                cmd.CommandTimeout = 600; // 10分钟
                // 创建参数
                OracleParameter oraParam;
                List<IDbDataParameter> cacher = new List<IDbDataParameter>();
                OracleDbType dbType = OracleDbType.Object;
                foreach (string colName in dbColumns)
                {
                    dbType = this.GetOracleDbType(columnRowData[colName][0]);
                    oraParam = new OracleParameter(colName, dbType);
                    oraParam.Direction = ParameterDirection.Input;
                    oraParam.OracleDbTypeEx = dbType;

                    oraParam.Value = columnRowData[colName];
                    cmd.Parameters.Add(oraParam);
                }

                // 执行批处理
                var trans  = conn.BeginTransaction();
                try
                {
                    cmd.Transaction = trans;
                    iResult = cmd.ExecuteNonQuery();
                    trans.Commit();
                }
                catch(Exception dbex)
                {
                    trans.Rollback();
                    throw dbex;
                }
            }
        }
    }

    return iResult;
}


///  批量更新数据
/// </summary>
/// <param name="tableName">表名称</param>
/// <param name="keyColumName">主键列名称</param>
/// <param name="columnRowData">键-值存储的批量数据:键是列名称,值是该列对应的数据集合</param>
/// <returns></returns>
public int BatchUpdate(string tableName,string keyColumName, Dictionary<string, object[]> columnRowData)
{
    if (string.IsNullOrEmpty(tableName))
    {
        throw new ArgumentNullException("tableName", "必须指定批量插入的表名称");
    }

    if (string.IsNullOrEmpty(tableName))
    {
        throw new ArgumentNullException("keyColumName", "必须指定批量插入表的主键列名称");
    }

    if (columnRowData == null || columnRowData.Count < 1)
    {
        throw new ArgumentException("必须指定批量插入的字段名称", "columnRowData");
    }

    int iResult = 0;
    string[] dbColumns = columnRowData.Keys.ToArray();
    StringBuilder sbCmdText = new StringBuilder();
    if (columnRowData.Count > 0)
    {
        // 准备更新SQL
        sbCmdText.AppendFormat("update {0} set  ", tableName);
        foreach(var col in dbColumns)
        {
            if (keyColumName.Equals(col,StringComparison.OrdinalIgnoreCase))
            {
                continue;
            }
            sbCmdText.AppendFormat("{0} = :{0} ,", col);
        }
        sbCmdText.Remove(sbCmdText.Length - 1, 1);
        sbCmdText.AppendFormat(" where {0} = :{0}",keyColumName);
       
        using (OracleConnection conn = new OracleConnection("数据库连接字符信息"))
        {
            using (OracleCommand cmd = _oraDbConn.CreateCommand())
            {
                // 绑定批处理的行数
                cmd.ArrayBindCount = columnRowData.Values.First().Length; // 很重要
                cmd.BindByName = true;
                cmd.CommandType = CommandType.Text;
                cmd.CommandText = sbCmdText.ToString();
                cmd.CommandTimeout = 600; // 10分钟
                // 创建参数
                OracleParameter oraParam;
                List<IDbDataParameter> cacher = new List<IDbDataParameter>();
                OracleDbType dbType = OracleDbType.Object;
                foreach (string colName in dbColumns)
                {
                    dbType = this.GetOracleDbType(columnRowData[colName][0]);
                    oraParam = new OracleParameter(colName, dbType);
                    oraParam.Direction = ParameterDirection.Input;
                    oraParam.OracleDbTypeEx = dbType;

                    oraParam.Value = columnRowData[colName];
                    cmd.Parameters.Add(oraParam);
                }

                // 执行批处理
                var trans = conn.BeginTransaction();
                try
                {
                    cmd.Transaction = trans;
                    iResult = cmd.ExecuteNonQuery();
                    trans.Commit();
                }
                catch (Exception dbex)
                {
                    trans.Rollback();
                    throw dbex;
                }
            }
        }
    }

    return iResult;
}


/// <summary>
///  根据数据类型获取OracleDbType
/// </summary>
/// <param name="value"></param>
/// <returns></returns>
private OracleDbType GetOracleDbType(object value)
{
    OracleDbType dataType = OracleDbType.Object;
    if (value is string)
    {
        dataType = OracleDbType.Varchar2;
    }
    else if (value is DateTime)
    {
        dataType = OracleDbType.TimeStamp;
    }
    else if (value is int || value is short)
    {
        dataType = OracleDbType.Int32;
    }
    else if (value is long)
    {
        dataType = OracleDbType.Int64;
    }
    else if (value is decimal || value is double)
    {
        dataType = OracleDbType.Decimal;
    }
    else if (value is Guid)
    {
        dataType = OracleDbType.Varchar2;
    }
    else if (value is bool || value is Boolean)
    {
        dataType = OracleDbType.Byte;
    }
    else if (value is byte[])
    {
        dataType = OracleDbType.Blob;
    }
    else if (value is char)
    {
        dataType = OracleDbType.Char;
    }

    return dataType;
}


开源中国-程序员在线工具:Git代码托管 API文档大全(120+) JS在线编辑演示 二维码 更多»

发表评论 回到顶部 网友评论(5)

  • 1楼:LeeSir 发表于 2012-08-01 14:48 回复此评论
    ODP.NET这组件对.NET程序对oracle实现大批量数据导入确实不错!比微软FCL里面自带的那套oracle连接驱动性能要优很多!
  • 2楼:蜗牛的爬行速度 发表于 2012-10-09 14:55 回复此评论
    ODP.NET做批量操作的确不错,但是要注意oracle版本兼容性。
  • 3楼:古秋 发表于 2013-12-13 15:12 回复此评论
    批量了么?
  • 4楼:v5star 发表于 2014-03-05 09:08 回复此评论
    你这个iResult 返回值是多少?成功时是多少,失败时是多少呢?
  • 5楼:奈落百合折 发表于 2015-03-27 16:30 回复此评论

    代码中很多错误,新手会被害死!

开源从代码分享开始 分享代码
逆风扬的其它代码 全部(2)...