NodeJS (JavaScript/TypeScript) - Feil under lesing av Parquet-fil
Jeg prøver å lese parquet-fil med nodejs:
var parquet = require('parquetjs');
(
async () => {
try {
// create new ParquetReader that reads from 'fruits.parquet`
let reader = await parquet.ParquetReader.openFile('f1.snappy.parquet');
// create a new cursor
let cursor = reader.getCursor();
// read all records from the file and print them
let record = null;
while (record = await cursor.next()) {
console.log(record);
}
} catch (e) {
console.log('error while reading a parquet file:\n', e)
}
}
) ();
Får feil:
error while reading a parquet file:
invalid page type: DICTIONARY_PAGE
Samme parquet-fil - jeg kan lese den med Python pyarrow-bibliotek uten problemer..
Hva kan være grunnen?
Svar #1
Jeg hadde dette samme problemet (og noen andre når jeg leste nestede objekter) med parquetjs
Jeg byttet til https://www.npmjs.com/package/parquetjs-lite, og nå fungerer alt glatt
parquetjs-lite er en fork av parquetjs, så jeg trengte ikke å endre noen av kodene mine