Confluent Confluent Platform
0
- Apache KafkaコネクトAPIとConfluentコネクター
- Apache Kafka Connect APIおよびConfluentコネクターは、開発者やデータエンジニア、および運用者が組織のアプリケーションをイベントストリーミングプラットフォームに接続しそれらのデータへ簡単にアクセスできる方法を提供します。
- スキーマレジストリ
- Confluent スキーマレジストリは、イベント用の標準スキーマを定義するため開発者に対してのRESTfulインターフェースを提供します。 そして、すべてのスキーマのバージョン履歴を保存し、構成された互換性設定に従ってスキーマを拡張することができます。このスキーマレジストリを通してApache Kafkaデプロイメントを重大な変更から保護することで、開発者はアプリケーションのデプロイに集中することができるようになります。
- Kafkaクライアント
- Kafkaクライアントは、Kafkaクラスターに接続する際、JavaまたはScala以外の言語で書かれたアプリケーションもサポートします。 具体的には、C/C++、Go、Python、.Net,JMSの言語で書かれたカスタムアプリケーションをKafkaクラスターに接続できます。
- Confluent RESTプロキシ
- Confluent REST プロキシはKafkaクラスターに対してRESTfulインターフェースを提供します。 これにより、ネイティブのKafkaプロトコルまたはKafkaクライアントを使用せずにメッセージの生成と消費、クラスターの状態の表示、および管理操作の実行が可能になります。
- Confluent MQTTプロキシ
- Confluent MQTT Proxyは、KafkaネイティブのMQTTプロキシを提供します。 MQTTプロキシアクセスは、複雑なレイヤーを追加することなく、ビジネスへIoTデータが組み入れることができ、その確実性も保証されます。
- Kafkaストリーム
- Kafkaストリームは、アプリケーション、マイクロサービスを構築するためのクライアントライブラリです。Kafkaクラスター内の入出力データとJavaやScalaのアプリケーションとストリームAPIを介してやり取りできます。
- KSQL
- Confluenct KSQLは、ApacheKafka®に対してリアルタイムのデータ処理を可能にするストリーミングSQLエンジンです。Javaなどのプログラミング言語でコードを記述する必要のない、Kafkaでのストリーム処理のために使いやすいインタラクティブなSQLインターフェースを提供します。 KSQLはスケーラブルで柔軟性とフォールトトレラント性を兼ね備え、データをフィルタリング、変換、集約、結合、ウィンドウ処理、セッション化など、幅広いストリーミング操作をストリーミングプロセッシングとKafkaクラスター間でサポートします。
- 自動データバランシング
- 自動データバランシングは、自動で全体のパーティションをリバランスし、リソースの使用率を最適化するとともに信頼性を確保します。 例えば、Apache Kafkaを使用してデータセンターのリソース間でワークロードのバランスが取れていない可能性がある時に、手動でこれらの負荷のバランスを取ろうとすることに伴うリスクを回避するために、パフォーマンスと効率の低下を受け入れることがあります。これは、いくつかのノードが何もしていない間、他のノードまたは多くのパーティションに大きな負荷がかかり、メッセージ配信を遅くしていることがあります。 こうした課題に対して、自動データバランシングは最適なパフォーマンスを確実にするのに役立ちます。この機能を実行すると、クラスター内のノード数、パーティションのサイズ、パーティションの数などについてクラスターを監視します。クラスター全体で均等なワークロードを作成するためにデータをシフトできます。このバランサを使用すると、手動でパーティションを移動する危険性なしに、Kafkaクラスターを効率的にバランシングすることができます。
- セキュリティ管理
- Restプロキシ／スキーマレジストリからKfakaブローカーへのクライアント資格情報のパススルーを実現。 これによりAD/LDAPグループをKafka ACLへマッピングできます。また、Confluentプラットフォームのツールと製品にセキュリティ機能を追加するConfluent セキュリティプラグインも用意されています。 例えば、LDAPサーバーで構成されたグループを使用して、Kafkaブローカーにグループベースの許可を有効にするKafka LDAPプラグインやRESTインターフェースを介してメッセージを作成および消費することができるConfluence RESTプロキシは、着信要求を認証し、認証されたIDやロールをKafkaへの要求に伝搬します。 これによりConfluence RESTプロキシクライアントはKafkaブローカーのマルチテナントセキュリティ機能を利用することが可能になります。 さらには、着信要求を認証し、設定された承認者を介して承認する機能を追加できるスキーマレジストリセキュリティプラグインなどがあります。