Вопросы с тегом 'fluentd'

Fluentd является открытым и распределенным сборщиком данных, который получает журналы в формате JSON, буферизирует их и отправляет их в другие системы, такие как Amazon S3, MongoDB, Hadoop или другие Fluentds.
1
ответ

Модифицировать выход fluentd json

Как мы можем легко преобразовать с помощью fluentd (и плагинов) что-то вроде этого { "remote": "87.85.14.126", "city": "saint-hubert" } Для этого: { "geoip": { "remote": "87.85.14.126", "city": "saint-hubert" } } Спа...
задан 17 дек. '14 в 13:55
1
ответ

Флюменд против Кафки

Пример использования: У меня есть несколько java-приложений, в которых все должны взаимодействовать с разными (каждый из них имеет определенные целевые) индексы elasticsearch. Например, приложение A использует индексы A, B, C ElasticSearch для запрос...
задан 02 февр. '16 в 7:04
2
ответов

Как настроить отчет об ошибках в Stackdriver из kubernetes pods?

Я немного запутался в том, как настроить отчет об ошибках в кубернетах, поэтому ошибки отображаются в Google Cloud Console/Stackdriver "Отчеты об ошибках"? Согласно документации https://cloud.google.com/error-reporting/docs/setting-up-on-compute-eng...
задан 03 апр. '16 в 1:45
2
ответов

12Factor App: Захват журналов stdout/stderr с Fluentd

Прочитав следующее сообщение из 12factor, я придумал вопрос, который я хотел бы проверить, как вы, парни, справляетесь с этим. В принципе, приложение должно писать непосредственно в stdout/stderr. Нужно ли перенаправить эти потоки напрямую на flue...
задан 26 февр. '15 в 0:57
1
ответ

OpenShift Aggregated Logging: журнал доступа Parse Apache

При использовании OpenShift Aggregated Logging Я получаю журналы, хорошо загруженные в elasticsearch. Однако строка, зарегистрированная apache, заканчивается в поле message. Я хотел бы создать запросы в Kibana, где я могу получить доступ к URL-адре...
задан 20 марта '17 в 11:32
0
ответов

Fluentd: переадресация событий на Elasticsearch длится при использовании плагина копирования

Я настраиваю свою конфигурацию fluentD и для определенных событий, мне нужно подталкивать их как к журналу, так и к журналу elasticsearch. Я использую для этого плагин для копирования, но вижу значительную разницу в времени, посланном вызовом fluentD...
задан 22 авг. '17 в 20:33
3
ответов

Драйвер регистрации Docker Fluentd для многострочных

Я пытаюсь создать централизованную систему ведения журнала, используя fluentd для среды докеров. В настоящее время я могу отправить журнал docker в fluentd с помощью драйвера fluentd docker logging, который является гораздо более чистым решением, сра...
задан 21 сент. '15 в 5:30
3
ответов

Fluentd для выходного плагина Logstash

Я пытаюсь читать с сервера писца с помощью flunetd и выводить эти журналы, которые будут храниться в logstash. Я знаю, что очень глупо записывать журналы scribe_central в другой центральный регистратор, но нам нужно, чтобы это было сделано в нашей те...
задан 18 апр. '14 в 1:22
1
ответ

fluentd теряет миллисекунды, и теперь сообщения журнала хранятся не в порядке в elasticsearch

Я использую fluentd для централизации журнальных сообщений в elasticsearch и просмотра их с помощью kibana. Когда я просматриваю сообщения журнала, сообщения, которые произошли в одну секунду, вышли из строя, а миллисекунды в @timestamp - все нули 2...
задан 13 янв. '15 в 20:59
1
ответ

Можете ли вы использовать переменные среды в файле конфигурации для fluentd

Мне было интересно, как использовать env vars в конфигурации Fluentd, я пробовал: <match **> type elasticsearch logstash_format true logstash_prefix $ENV_VAR host *** port *** include_tag_key true tag_key _key </match> но это не работа...
задан 01 дек. '14 в 20:22
4
ответов

Как отслеживать журнал контейнеров докеров с помощью пользователя, не являющегося пользователем root?

Я хочу отслеживать журнал контейнеров докеров от пользователя без полномочий root (td-agent) и на хост-сервере, sudo chmod o+rx /var/lib/docker sudo find /var/lib/docker/containers/ -type d -exec chmod o+rx {} \; sudo find /var/lib/docker/containers...
задан 14 авг. '14 в 19:10
1
ответ

Fluentd wildcard out_file с тегом в пути к файлу

Я только начинаю с fluentd, но я хотел бы иметь возможность установить одно правило соответствия вывода, например: <match myapp.**> type file path logs/ time_slice_format %Y%m%dT%H time_slice_wait 5m time_format %Y%m%dT%H%M%S%z ...
задан 18 сент. '14 в 22:16
2
ответов

Ведение журнала Python - обзор установленных в настоящее время регистраторов/обработчиков

Я пытаюсь настроить обработчик журнала Fluentd из проекта Django, используя регистратор из кода: def get_fluentd_logger(name): import logging from fluent import handler logging.basicConfig(level=logging.DEBUG) logger = logging.getLo...
задан 16 нояб. '12 в 13:37
1
ответ

Целевой индекс Fluentd Elasticsearch

Я использую Fluentd для переноса данных в Elasticsearch. TD-agent.conf ## ElasticSearch <match es.**> type elasticsearch target_index_key @target_index logstash_format true flush_interval 5s </match> Индекс поиска: "log...
задан 25 февр. '16 в 15:51
2
ответов

Как просматривать журналы JSON управляемой виртуальной машины в Log Viewer?

Я пытаюсь получить JSON отформатированные журналы на экземпляре Compute Engine VM, чтобы появиться в средстве просмотра журнала консоли разработчика Google. Согласно этой документации, это должно быть возможно: Приложения, использующие управляемые ...
задан 13 марта '15 в 12:16