BI-Art

  • 홈
  • 태그
  • 방명록

ParquetWriter 1

[Java DataEngineering] Parquet 파일 쓰고 읽는 코드 정리 Write & Read

Java를 이용해 Parquet 파일을 쓰고 읽는 코드를 소개한다. 라이브러리 버전 정보org.apache.parquet:parquet-avro:1.12.2org.apache.hadoop:hadoop-common:3.3.4org.apache.hadoop:hadoop-mapreduce-client-core:3.3.4유의점 parquet 파일 저장 코드를 소개하는 포스트들은 대게 Path 경로만 넣어서 writer를 빌드하는 방법을 사용한다. 허나 아쉽게도 해당 코드는 Deprecated 처리되었는데 이유는 정확히 모르겠다.. 어쨌거나 Path가 아닌 org.apache.parquet.io.OutputFile (interface) 를 구현한 클래스를 넣어야 한다. https://issues.apache...

데이터 엔지니어링(Deep Dive) 2022.11.25
이전
1
다음
더보기
프로필사진

BI-Art

데이터와 함께하는 모든 직장생활을 위하여!

  • 분류 전체보기 N
    • IT 이모저모
    • 데이터 엔지니어링(Deep Dive) N
    • 데이터 분석(Deep Dive)
    • 연구자료

Tag

java, PYTHON, ParquetFileReader, installtion, kserve, OpenSea, autoregressive, nft 구매, ParquetWriter, docekr bridge, 시 NFT, docker gateway, dockerization, NFT, 스프링 도커, arch hades, poem nft, LLM, Docker, docker network,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바