NodeJS (JavaScript/TypeScript) - Feil under lesing av Parquet-fil


Jeg prøver å lese parquet-fil med nodejs:

var parquet = require('parquetjs');

(
    async () => {
    try {
            // create new ParquetReader that reads from 'fruits.parquet`
      let reader = await parquet.ParquetReader.openFile('f1.snappy.parquet');

        // create a new cursor
        let cursor = reader.getCursor();

        // read all records from the file and print them
        let record = null;
        while (record = await cursor.next()) {
            console.log(record);
        }

      } catch (e) {
        console.log('error while reading a parquet file:\n', e)
      }

    }

) ();

Får feil:

error while reading a parquet file:
 invalid page type: DICTIONARY_PAGE

Samme parquet-fil - jeg kan lese den med Python pyarrow-bibliotek uten problemer..

Hva kan være grunnen?

Svar #1

Jeg hadde dette samme problemet (og noen andre når jeg leste nestede objekter) med parquetjs

Jeg byttet til https://www.npmjs.com/package/parquetjs-lite, og nå fungerer alt glatt

parquetjs-lite er en fork av parquetjs, så jeg trengte ikke å endre noen av kodene mine

Relaterte artikler