Вопросы с тегом 'avro'

Apache Avro - это структура сериализации данных, используемая в Apache Hadoop.
6
ответов

Каковы основные различия между Apache Thrift, Google Protocol Buffers, MessagePack, ASN.1 и Apache Avro?

Все они обеспечивают двоичную сериализацию, инфраструктуру RPC и IDL. Меня интересуют ключевые различия между ними и характеристики (производительность, простота использования, поддержка языков программирования). Если вы знаете какие-либо другие под...
задан 08 янв. '11 в 14:20
7
ответов

Авро против Паркет

Я планирую использовать один из файлов формата hadoop для моего проекта, связанного с hadoop. Я понимаю паркет эффективен для запросов на основе столбцов и avro для полного сканирования или когда нам нужны все данные столбцов! Прежде чем продолжит...
задан 10 марта '15 в 9:19
3
ответов

Каковы плюсы и минусы формата паркета по сравнению с другими форматами?

Характеристики паркета Apache: Самоописание Формат столбца Язык независимые В сравнении с Avro, Sequence Files, RC File и т.д. Мне нужен обзор форматов. Я уже читал: Как Impala работает с форматами файлов Hadoop, он дает некоторое представление о...
задан 24 апр. '16 в 13:59
5
ответов

Как кодировать/декодировать сообщения Kafka с использованием двоичного кодировщика Avro?

Я пытаюсь использовать Avro для сообщений, которые читаются/записываются в Kafka. Кто-нибудь имеет пример использования двоичного кодировщика Avro для кодирования/декодирования данных, которые будут помещены в очередь сообщений? Мне нужна часть Avro...
задан 28 нояб. '11 в 18:40
2
ответов

Значения по умолчанию для поля Avro

У меня возникают проблемы с настройкой значений по умолчанию для полей avro. У меня есть простая схема, как показано ниже: data.avsc: { "namespace":"test", "type":"record", "name":"Data", "fields":[ { "name": "id", "type": [ "long", "null...
задан 08 апр. '14 в 16:10
2
ответов

Как вложить записи в схему Avro?

Я пытаюсь заставить Python анализировать схемы Avro, такие как следующее... from avro import schema mySchema = """ { "name": "person", "type": "record", "fields": [ {"name": "firstname", "type": "string"}, {"name": "last...
задан 01 авг. '12 в 20:16
3
ответов

python Spark avro

При попытке записать avro я получаю следующую ошибку: org.apache.spark.SparkException: Job aborted due to stage failure: Task 7 in stage 35.0 failed 1 times, most recent failure: Lost task 7.0 in stage 35.0 (TID 110, localhost): java.lang.ClassCastE...
задан 14 апр. '15 в 7:15
2
ответов

В чем преимущество хранения схемы в avro?

Нам нужно сериализовать некоторые данные для ввода в solr, а также в hadoop. Я оцениваю инструменты сериализации для того же самого. Первые два в моем списке - Gson и Avro. Насколько я понимаю, Avro = Gson + Schema-In-JSON Если это правильно, я ...
задан 13 дек. '13 в 2:25
3
ответов

В Java, как я могу создать эквивалент файла контейнера Apache Avro без принудительного использования файла в качестве носителя?

Это в некотором роде выстрел в темноте, если кто-то подкован с реализацией Java Apache Avro, читает это. Моя задача на высоком уровне состоит в том, чтобы каким-то образом передать некоторые данные avro по сети (например, просто скажем HTTP, но конк...
задан 24 сент. '11 в 11:42
2
ответов

Spark: Запись в файл Avro

Я в Spark, у меня есть RDD из файла Avro. Теперь я хочу сделать некоторые преобразования на этом RDD и сохранить его как файл Avro: val job = new Job(new Configuration()) AvroJob.setOutputKeySchema(job, getOutputSchema(inputSchema)) rdd.map(elem =&...
задан 16 дек. '13 в 16:51
2
ответов

Полиморфизм и наследование в схемах Авро

Можно ли написать схему Avro/IDL, которая будет генерировать Java-класс, который либо расширяет базовый класс, либо реализует интерфейс? Кажется, что сгенерированный класс Java расширяет org.apache.avro.specific.SpecificRecordBase. Таким образом, ор...
задан 01 янв. '14 в 3:14
1
ответ

Apache Kafka с Avro и Schema Repo - где в сообщении идёт идентификатор схемы?

Я хочу использовать Avro для сериализации данных для своих сообщений Kafka и хотел бы использовать его в репозитории схемы Avro, поэтому мне не нужно включать схему с каждым сообщением. Использование Avro с Kafka кажется популярной задачей, а также ...
задан 03 июля '15 в 13:12
2
ответов

Могу ли я получить определение класса case Scala из определения схемы Avro?

Чтобы облегчить работу с Avro в Scala, я хотел бы определить класс case на основе схемы, хранящейся в файле .avro. Я мог бы попробовать: Написание определения класса case.scala вручную. Программная запись строк в файл .scala Объясните определени...
задан 25 марта '13 в 6:15
5
ответов

Можно ли разделить схему Apache Avro на несколько файлов?

Я могу сделать, { "type": "record", "name": "Foo", "fields": [ {"name": "bar", "type": { "type": "record", "name": "Bar", "fields": [ ] }} ] } и это работает нормально, но предпо...
задан 04 февр. '14 в 1:24
3
ответов

Начало работы с Avro

Я хочу начать с использования Avro с уменьшением карты. Может ли кто-нибудь предложить хороший учебник/пример для начала работы. Я не мог найти много через интернет-поиск.
задан 30 марта '11 в 2:48