BI-Art

  • 홈
  • 태그
  • 방명록

ParquetWriter 1

[Java DataEngineering] Parquet 파일 쓰고 읽는 코드 정리 Write & Read

Java를 이용해 Parquet 파일을 쓰고 읽는 코드를 소개한다. 라이브러리 버전 정보org.apache.parquet:parquet-avro:1.12.2org.apache.hadoop:hadoop-common:3.3.4org.apache.hadoop:hadoop-mapreduce-client-core:3.3.4유의점 parquet 파일 저장 코드를 소개하는 포스트들은 대게 Path 경로만 넣어서 writer를 빌드하는 방법을 사용한다. 허나 아쉽게도 해당 코드는 Deprecated 처리되었는데 이유는 정확히 모르겠다.. 어쨌거나 Path가 아닌 org.apache.parquet.io.OutputFile (interface) 를 구현한 클래스를 넣어야 한다. https://issues.apache...

데이터 엔지니어링(Deep Dive) 2022.11.25
이전
1
다음
더보기
프로필사진

BI-Art

데이터와 함께하는 모든 직장생활을 위하여!

  • 분류 전체보기
    • IT 이모저모
    • 데이터 엔지니어링(Deep Dive)
    • 연구자료

Tag

스프링 도커, poem nft, PYTHON, 시 NFT, OpenSea 계정, 자바 저작권 분쟁, dockerization, java, ParquetFileReader, docekr bridge, docker network, MetaMask, arch hades, installtion, ParquetWriter, nft 구매, MetaMask 설치, NFT, OpenSea, docker gateway,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바