C#에서 Trino(Hive 카탈로그) 조회하기

Install-Package Trino.Ado -Version 1.1.0

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <startup>
    <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.8" />
  </startup>
  <appSettings>
    <!-- Trino 코디네이터 주소. https 면 SSL, http 면 평문 -->
    <add key="TrinoServer" value="http://192.0.2.10:8080" />
    <add key="TrinoCatalog" value="hive" />
    <add key="TrinoSchema" value="default" />
    <add key="TrinoUser" value="etl_user" />
    <!-- 비밀번호(LDAP/패스워드 인증)가 없으면 비워 두세요. Trino 는 비밀번호 인증을 https 에서만 허용합니다 -->
    <add key="TrinoPassword" value="" />
    <!-- 쿼리 타임아웃(초). 대용량 INSERT 는 넉넉하게 -->
    <add key="TrinoTimeoutSeconds" value="3600" />
    <!-- 사내 자체 서명 인증서를 쓰는 경우만 true -->
    <add key="TrinoAllowSelfSignedCert" value="false" />
  </appSettings>
  <!-- Windows(IE) 프록시를 타면 401 Access Denied 가 납니다. Trino 서버는 프록시를 거치지 않게 -->
  <system.net>
    <defaultProxy>
      <bypasslist>
        <add address="192\.0\.2\.10" />
      </bypasslist>
    </defaultProxy>
  </system.net>
</configuration>

// TrinoJob.cs  (.NET Framework 4.8, NuGet: Trino.Ado)
using System;
using System.Collections;
using System.Configuration;   // 참조 추가: System.Configuration
using System.Data;
using System.Globalization;
using System.Linq;
using Trino.Ado.Server;       // TrinoConnection, TrinoCommand, TrinoConnectionProperties
using Trino.Core.Auth;        // BasicAuth (Trino.Core 패키지, Trino.Ado 설치 시 같이 설치됨)

// 연결 설정은 App.config 에서 읽습니다.
public static class TrinoJob
{
    static string Setting(string key)
    {
        return ConfigurationManager.AppSettings[key] ?? "";
    }

    public static TrinoConnection CreateConnection()
    {
        var props = new TrinoConnectionProperties
        {
            Server = new Uri(Setting("TrinoServer")),   // Host/Port/EnableSsl 이 여기서 같이 설정됨
            Catalog = Setting("TrinoCatalog"),
            Schema = Setting("TrinoSchema"),
            User = Setting("TrinoUser"),
            Timeout = TimeSpan.FromSeconds(int.Parse(Setting("TrinoTimeoutSeconds"))),
            AllowSelfSignedServerCert = Setting("TrinoAllowSelfSignedCert") == "true",
            CompressionDisabled = true                  // gzip 응답 처리 중 EOF 오류 방지
        };

        string password = Setting("TrinoPassword");
        if (password.Length > 0)
        {
            props.Auth = new BasicAuth { User = props.User, Password = password };
        }

        var conn = new TrinoConnection(props);
        conn.Open();
        return conn;
    }

    // Trino.Ado 가 돌려주는 값 중 일부는 화면/DataTable 에 그대로 쓰기 어렵습니다.
    //   char -> char[], decimal -> TrinoBigDecimal, array -> List<object>, map -> Dictionary,
    //   timestamp with time zone -> DateTimeOffset
    // 여기서 일반 .NET 값(string, decimal, DateTime 등)으로 바꿉니다. null 은 DBNull.
    public static object ToNetValue(object v)
    {
        if (v == null || v is DBNull) return DBNull.Value;
        if (v is string || v is byte[]) return v;
        if (v is char[]) return new string((char[])v);
        if (v is DateTimeOffset) return ((DateTimeOffset)v).DateTime;
        if (v is DateTime || v is decimal || v is TimeSpan || v is Guid || v.GetType().IsPrimitive) return v;

        if (v is IDictionary)
        {
            var d = (IDictionary)v;
            return "{" + string.Join(", ", d.Keys.Cast<object>()
                .Select(k => ToText(k) + "=" + ToText(d[k]))) + "}";
        }
        if (v is IEnumerable)
        {
            return "[" + string.Join(", ", ((IEnumerable)v).Cast<object>().Select(ToText)) + "]";
        }

        // TrinoBigDecimal 등: 문자열로 바꾼 뒤 decimal 로, 범위를 넘으면 문자열 그대로
        string s = v.ToString();
        decimal num;
        if (decimal.TryParse(s, NumberStyles.Number, CultureInfo.InvariantCulture, out num)) return num;
        return s;
    }

    public static string ToText(object v)
    {
        object x = ToNetValue(v);
        return x is DBNull ? "NULL" : Convert.ToString(x, CultureInfo.InvariantCulture);
    }

    // 1) SELECT -> DataReader 로 한 줄씩 읽기
    public static void PrintRows(string sql)
    {
        using (var conn = CreateConnection())
        using (var cmd = new TrinoCommand(conn, sql))
        using (IDataReader reader = cmd.ExecuteReader())
        {
            while (reader.Read())
            {
                var values = new object[reader.FieldCount];
                reader.GetValues(values);
                Console.WriteLine(string.Join("\t", values.Select(ToText)));
            }
        }
    }

    // 2) SELECT -> DataTable (그리드 바인딩 등)
    //    DataTable.Load(reader) 는 Trino.Ado 와 타입이 맞지 않아 오류가 나므로 직접 채웁니다.
    //    컬럼 타입은 object 라서 숫자/날짜는 원래 타입 그대로 들어갑니다.
    public static DataTable Query(string sql)
    {
        using (var conn = CreateConnection())
        using (var cmd = new TrinoCommand(conn, sql))
        using (IDataReader reader = cmd.ExecuteReader())
        {
            var table = new DataTable();
            bool first = true;
            while (reader.Read())
            {
                if (first)
                {
                    for (int i = 0; i < reader.FieldCount; i++)
                    {
                        string name = reader.GetName(i);
                        if (name.Length == 0 || table.Columns.Contains(name)) name = name + "_" + i;  // 같은 이름 컬럼(조인 등) 대비
                        table.Columns.Add(name, typeof(object));
                    }
                    first = false;
                }
                var row = table.NewRow();
                for (int i = 0; i < reader.FieldCount; i++)
                {
                    row[i] = ToNetValue(reader.GetValue(i));
                }
                table.Rows.Add(row);
            }
            return table;   // 결과가 0행이면 컬럼 없는 DataTable
        }
    }

    // 3) INSERT / CREATE TABLE AS 등 실행
    //    반환값은 Trino 가 처리한 행 수(ProcessedRows)라 실제 삽입 행 수와 다를 수 있습니다.
    public static int Execute(string sql)
    {
        using (var conn = CreateConnection())
        using (var cmd = new TrinoCommand(conn, sql))
        {
            return cmd.ExecuteNonQuery();
        }
    }
}

// Program.cs  (.NET Framework 4.8 콘솔, NuGet: Trino.Ado)
using System;
using System.Data;

class Program
{
    static void Main()
    {
        // 1) 한 줄씩 출력 — 연결 확인용
        TrinoJob.PrintRows("SELECT * FROM sample_table LIMIT 10");

        // 2) DataTable 로 받기
        DataTable dt = TrinoJob.Query(
            "SELECT dt, COUNT(*) AS cnt FROM sample_table GROUP BY dt ORDER BY dt");
        foreach (DataRow r in dt.Rows)
            Console.WriteLine(r["dt"] + "\t" + r["cnt"]);

        // 3) 적재
        //    Trino 에는 INSERT OVERWRITE 문법이 없습니다. 파티션 덮어쓰기가 필요하면
        //    TrinoJob.CreateConnection() 의 props 에 아래 줄을 추가하세요.
        //    props.SessionProperties = new Dictionary<string, string>
        //        { { "hive.insert_existing_partitions_behavior", "OVERWRITE" } };
        int n = TrinoJob.Execute(
            "INSERT INTO target_table SELECT * FROM sample_table WHERE dt = '2026-10-27'");
        Console.WriteLine("처리 행 수=" + n);

        Console.WriteLine("완료. 아무 키나 누르세요.");
        Console.ReadKey();
    }
}