JP2016005043A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2016005043A
JP2016005043A JP2014122880A JP2014122880A JP2016005043A JP 2016005043 A JP2016005043 A JP 2016005043A JP 2014122880 A JP2014122880 A JP 2014122880A JP 2014122880 A JP2014122880 A JP 2014122880A JP 2016005043 A JP2016005043 A JP 2016005043A
Authority
JP
Japan
Prior art keywords
stream
image data
image processing
image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014122880A
Other languages
Japanese (ja)
Inventor
耕司 桑田
Koji Kuwata
耕司 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014122880A priority Critical patent/JP2016005043A/en
Publication of JP2016005043A publication Critical patent/JP2016005043A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device and a program, capable of timely adjusting a data amount of a stream corresponding to the state of change of a network, while maintaining a fixed resolution and a frame rate of image data included in the stream for transmission.SOLUTION: The information processing device includes: a plurality of image processing units, to which streams including image data are input, for performing image processing on the image data included in each stream, to output the stream which includes image data having mutually different data amount or an image property; and a coding unit for coding the streams which are output from the image processing units, using a predetermined coding scheme other than a scalable coding scheme, to transmit one of the coded streams to external equipment connected to the self-device through the network, and according to the network state, executes change processing on the one stream to be transmitted to the external equipment among the coded streams.

Description

本発明は、情報処理装置およびプログラムに関する。   The present invention relates to an information processing apparatus and a program.

ネットワークを介して接続された複数の情報処理装置間で画像データのストリームを送受信するＴＶ会議システムでは、大容量の画像データのストリームをリアルタイムに送受信するため、ストリームの送受信に用いるネットワークの品質が保証されていない場合においては、十分な性能を発揮できないことがある。   In a video conference system that transmits and receives image data streams between a plurality of information processing apparatuses connected via a network, a large-capacity image data stream is transmitted and received in real time, so that the quality of the network used for transmitting and receiving streams is guaranteed. If not, sufficient performance may not be achieved.

そこで、情報処理装置間で送受信されるストリームを中継するサーバが、情報処理装置間で送受信されるストリームの通信パケットの損失や通信遅延時間などの情報を取得し、情報処理装置間でのストリームの送受信に使用可能なネットワークの状態を検知する。そして、情報処理装置が、サーバにより検知されたネットワークの状態に応じて、送受信する画像データの解像度やフレームレートを調整するスケーラブル符号化を実行する制御技術がある。   Therefore, a server that relays a stream transmitted / received between the information processing apparatuses acquires information such as a communication packet loss and a communication delay time of the stream transmitted / received between the information processing apparatuses. Detect the network status that can be used for transmission and reception. There is a control technique in which the information processing apparatus executes scalable coding that adjusts the resolution and frame rate of image data to be transmitted and received according to the network state detected by the server.

ところで、上述の制御技術では、送信側の情報処理装置が、サーバにより検知されたネットワークの状態に応じて、送受信する画像データの解像度やフレームレートを調整することで、ネットワークの状態に追従してストリームの送受信を可能としているが、受信側の情報処理装置も、スケーラブルに解像度やフレームレートが変化する画像データのストリームを復号化できることが前提となっている。そのため、上述の制御技術は、汎用的な情報処理装置間でのストリームの送受信には対応できない。   By the way, in the above-described control technology, the information processing apparatus on the transmission side follows the network state by adjusting the resolution and frame rate of image data to be transmitted and received according to the network state detected by the server. Although it is possible to transmit and receive streams, it is assumed that the information processing apparatus on the receiving side can also decode a stream of image data whose resolution and frame rate change in a scalable manner. Therefore, the above-described control technique cannot cope with transmission / reception of a stream between general-purpose information processing apparatuses.

本発明は、上記に鑑みてなされたものであって、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態の変化に対応してストリームのデータ量をタイムリーに調整することができる情報処理装置およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and adjusts the data amount of a stream in a timely manner in response to a change in the network state while fixing the resolution and frame rate of image data included in the stream to be transmitted. An object of the present invention is to provide an information processing apparatus and a program that can be used.

上述した課題を解決し、目的を達成するために、本発明は、画像データを含むストリームが入力され、当該ストリームが含む画像データに画像処理を施して、データ量または画像特性が互いに異なる画像データを含むストリームを出力する複数の画像処理部と、複数の画像処理部から出力された複数のストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、ネットワークの状態に応じて、符号化した複数のストリームのうち外部機器に送信するストリームの変更処理を実行する符号化部と、を備えた情報処理装置である。   In order to solve the above-described problems and achieve the object, the present invention is directed to image data in which a stream including image data is input, image processing included in the stream includes image processing, and data amounts or image characteristics differ from each other. A plurality of image processing units that output a stream including: and a plurality of streams output from the plurality of image processing units are encoded using a predetermined encoding method other than the scalable encoding method, One of the streams is transmitted to the external device connected to the own apparatus via the network, and the process of changing the stream to be transmitted to the external device among the plurality of encoded streams is executed according to the state of the network And an encoding unit.

本発明によれば、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態に変化に対応してストリームのデータ量をタイムリーに調整することができる、という効果を奏する。   According to the present invention, it is possible to adjust the data amount of a stream in a timely manner in response to a change in the network state while fixing the resolution and frame rate of image data included in the stream to be transmitted. .

図１は、第１の実施の形態にかかるＴＶ会議システムの構成を示すブロック図である。FIG. 1 is a block diagram showing the configuration of the video conference system according to the first embodiment. 図２は、第１の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus and the encoder included in the information processing apparatus according to the first embodiment. 図３は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。FIG. 3 is a diagram for explaining image processing executed in the image processing unit of the information processing apparatus according to the first embodiment. 図４は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。FIG. 4 is a diagram for explaining image processing executed in the image processing unit of the information processing apparatus according to the first embodiment. 図５は、第１の実施の形態にかかる情報処理装置によるストリームの出力処理の流れを示すフローチャートである。FIG. 5 is a flowchart of a stream output process performed by the information processing apparatus according to the first embodiment. 図６は、第２の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。FIG. 6 is a block diagram illustrating a functional configuration of an image processing apparatus and an encoder included in the information processing apparatus according to the second embodiment.

以下に添付図面を参照して、情報処理装置およびプログラムの実施の形態を詳細に説明する。   Hereinafter, embodiments of an information processing apparatus and a program will be described in detail with reference to the accompanying drawings.

（第１の実施の形態）
図１は、第１の実施の形態にかかるＴＶ会議システムの構成を示すブロック図である。本実施の形態にかかるＴＶ会議システムは、図１に示すように、異なる拠点（本実施の形態では、第１拠点および第２拠点）に設置された複数の情報処理装置１０Ａ，１０Ｂ（以下、複数の情報処理装置１０Ａ，１０Ｂを区別する必要がない場合には、単に、情報処理装置１０と記載する）と、インターネットやイントラネット等、複数の情報処理装置１０を接続するネットワーク４０と、複数の情報処理装置１０間で送受信されるデータを中継するサーバ３０と、を有している。 (First embodiment)
FIG. 1 is a block diagram showing the configuration of the video conference system according to the first embodiment. As shown in FIG. 1, the TV conference system according to the present embodiment includes a plurality of information processing apparatuses 10A and 10B (hereinafter referred to as “the information processing apparatuses 10A” and 10B) installed at different bases (in this embodiment, the first base and the second base). When there is no need to distinguish between the plurality of information processing apparatuses 10A and 10B, they are simply referred to as the information processing apparatus 10), a network 40 that connects the plurality of information processing apparatuses 10, such as the Internet or an intranet, And a server 30 that relays data transmitted and received between the information processing apparatuses 10.

情報処理装置１０は、図１に示すように、当該情報処理装置１０が設置された拠点を撮像可能に設けられたカメラ１１と、当該情報処理装置１０が設置された拠点における音を集音可能に設けられたマイクロフォン１２と、ネットワーク４０を介して接続された他の拠点の情報処理装置１０から受信した画像データ等の各種情報を表示可能なディスプレイ１３と、当該情報処理装置１０全体を制御する制御部１４と、を備えている。   As shown in FIG. 1, the information processing apparatus 10 can collect sound from a camera 11 provided so as to be able to image a base where the information processing apparatus 10 is installed and a base where the information processing apparatus 10 is installed. And a display 13 capable of displaying various types of information such as image data received from the information processing apparatus 10 at another base connected via the network 40, and the information processing apparatus 10 as a whole. And a control unit 14.

以下の説明では、第１拠点に設置された情報処理装置１０Ａがデータの送信側として機能し、第２拠点に設置された情報処理装置１０Ｂがデータの受信側として機能する例について説明するが、各拠点に設置された情報処理装置１０は同様の構成を有しており、いずれの拠点に設置された情報処理装置１０もデータの送信側および受信側として機能できる。   In the following description, an example in which the information processing apparatus 10A installed at the first base functions as a data transmission side and the information processing apparatus 10B installed at the second base functions as a data reception side will be described. The information processing apparatus 10 installed at each base has the same configuration, and the information processing apparatus 10 installed at any base can function as a data transmission side and a reception side.

制御部１４は、図１に示すように、画像処理装置１４１と、エンコーダ１４２と、ネットワーク状態検知部１４３と、相手局機能判別部１４４と、音声判別部１４５と、デコーダ１４６とを有している。   As shown in FIG. 1, the control unit 14 includes an image processing device 141, an encoder 142, a network state detection unit 143, a partner station function determination unit 144, a voice determination unit 145, and a decoder 146. Yes.

画像処理装置１４１は、カメラ１１の撮像により得られた動画像データ（画像データの一例）を含むストリームが入力され、当該ストリームが含む動画像データに画像処理を施す。そして、画像処理装置１４１は、画像処理を施した動画像データを含むストリームを出力する。本実施の形態では、画像処理装置１４１には、カメラ１１から入力されるストリームが含む動画像データに対して、画像処理を施しているが、これに限定するものではなく、例えば、図示しないサーバ等の外部機器から入力されたストリームに含まれる画像データに対して、画像処理を施すことも可能である。音声判別部１４５は、マイクロフォン１２により集音された音の音データから、音声の音声データを抽出して、エンコーダ１４２に出力する。   The image processing device 141 receives a stream including moving image data (an example of image data) obtained by imaging by the camera 11 and performs image processing on the moving image data included in the stream. Then, the image processing apparatus 141 outputs a stream including moving image data subjected to image processing. In the present embodiment, the image processing device 141 performs image processing on the moving image data included in the stream input from the camera 11, but the present invention is not limited to this. For example, a server (not shown) It is also possible to perform image processing on image data included in a stream input from an external device such as the above. The voice discrimination unit 145 extracts voice voice data from the sound data of the sound collected by the microphone 12 and outputs the voice data to the encoder 142.

ネットワーク状態検知部１４３は、ネットワーク４０の状態（例えば、動画像データを含むストリームなどの各種情報の送受信に使用可能なネットワーク４０の帯域など）を検知する。相手局機能判別部１４４は、ネットワーク４０を介してストリームの受信側の情報処理装置１０（本実施の形態では、第２拠点に設置された情報処理装置１０Ｂ）が、スケーラブル符号化方式により符号化されたストリームを復号化可能か否かを判別する。本実施の形態では、相手局機能判別部１４４は、ネットワーク４０を介して、受信側の情報処理装置１０から機能情報を取得する。ここで、機能情報は、受信側の情報処理装置１０がスケーラブル符号化方式で符号化されたストリームを復号化可能であるか否かを示す情報である。そして、相手局機能判別部１４４は、取得した機能情報に基づいて、受信側の情報処理装置１０が、スケーラブル符号化方式で符号化されたストリームを復号化可能であるか否かを判別する。スケーラブル符号化は、階層符号化とも呼ばれ、時間階層符号化、空間階層符号化、ＳＮＲ階層符号化等がある。   The network state detection unit 143 detects the state of the network 40 (for example, the bandwidth of the network 40 that can be used for transmission / reception of various information such as a stream including moving image data). The counterpart station function determining unit 144 encodes the information processing apparatus 10 on the stream receiving side via the network 40 (in this embodiment, the information processing apparatus 10B installed at the second base) using the scalable encoding method. It is determined whether the decoded stream can be decoded. In the present embodiment, the counterpart station function determination unit 144 acquires function information from the information processing apparatus 10 on the receiving side via the network 40. Here, the function information is information indicating whether or not the information processing apparatus 10 on the receiving side can decode a stream encoded by the scalable encoding method. Then, the partner station function determining unit 144 determines whether the receiving-side information processing apparatus 10 can decode the stream encoded by the scalable encoding method, based on the acquired function information. Scalable encoding is also called hierarchical encoding, and includes temporal hierarchical encoding, spatial hierarchical encoding, SNR hierarchical encoding, and the like.

エンコーダ１４２（符号化部の一例）は、画像処理装置１４１から出力されたストリームをスケーラブル符号化方式以外の所定の符号化方式に従って符号化する符号化処理を実行する。そして、エンコーダ１４２は、符号化したストリームを、ネットワーク４０を介して接続された他の情報処理装置１０（外部機器の一例）に送信する。スケーラブル符号化方式の所定の符号化方式とは、非階層符号化とも呼ばれる。例えば、非階層符号化を用いてストリームを符号化して伝送（送信）する場合は、高レート用の符号化、低レート用の符号化等をネットワークのレート毎に個別に符号化して伝送する。   The encoder 142 (an example of an encoding unit) performs an encoding process for encoding the stream output from the image processing device 141 according to a predetermined encoding method other than the scalable encoding method. Then, the encoder 142 transmits the encoded stream to another information processing apparatus 10 (an example of an external device) connected via the network 40. The predetermined coding method of the scalable coding method is also called non-hierarchical coding. For example, when a stream is encoded and transmitted (transmitted) using non-hierarchical encoding, encoding for high rate, encoding for low rate, and the like are individually encoded for each network rate and transmitted.

本実施の形態では、エンコーダ１４２は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断した場合、画像処理装置１４１から出力されたストリームを、所定の符号化方式に従って符号化する。一方、エンコーダ１４２は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式に符号化されたストリームを復号化できると判断した場合、画像処理装置１４１から出力されたストリームをスケーラブル符号化方式に従って符号化する。また、本実施の形態では、エンコーダ１４２は、動画像データを含むストリームを符号化する場合、当該ストリームが含む動画像データを、フレーム間予測により符号化する符号化処理を実行する。   In the present embodiment, the encoder 142 outputs an output from the image processing device 141 when the partner station function determining unit 144 determines that the receiving-side information processing device 10 cannot decode the stream encoded by the scalable encoding method. The stream thus encoded is encoded according to a predetermined encoding method. On the other hand, when the encoder 142 determines that the information processing apparatus 10 on the receiving side can decode the stream encoded in the scalable encoding method, the encoder 142 determines the stream output from the image processing apparatus 141. Encoding is performed according to a scalable encoding scheme. In this embodiment, when encoding a stream including moving image data, the encoder 142 performs an encoding process for encoding the moving image data included in the stream by inter-frame prediction.

また、エンコーダ１４２は、音声判別部１４５から出力された音声データを符号化する符号化処理を実行する。そして、エンコーダ１４２は、符号化した音声データを、ネットワーク４０を介して接続された他の情報処理装置１０に送信する。   In addition, the encoder 142 performs an encoding process for encoding the audio data output from the audio determination unit 145. Then, the encoder 142 transmits the encoded audio data to another information processing apparatus 10 connected via the network 40.

デコーダ１４６は、ネットワーク４０を介して接続された他の情報処理装置１０から受信したストリームが含む動画像データを復号化する。そして、デコーダ１４６は、復号化した動画像データに基づく動画像を、ディスプレイ１３に表示させる。   The decoder 146 decodes moving image data included in a stream received from another information processing apparatus 10 connected via the network 40. Then, the decoder 146 causes the display 13 to display a moving image based on the decoded moving image data.

次に、図２を用いて、本実施の形態にかかる情報処理装置１０が有する画像処理装置１４１およびエンコーダ１４２の機能構成について説明する。図２は、第１の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。   Next, functional configurations of the image processing apparatus 141 and the encoder 142 included in the information processing apparatus 10 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus and the encoder included in the information processing apparatus according to the first embodiment.

画像処理装置１４１は、図２に示すように、カメラ１１の撮像により得られた動画像データを含むストリームが入力され、当該入力されたストリームが含む動画像データに画像処理を施して、データ量または画像特性が互いに異なる動画像データを含むストリームを出力する複数の画像処理部２００を有している。   As shown in FIG. 2, the image processing apparatus 141 receives a stream including moving image data obtained by imaging by the camera 11, performs image processing on the moving image data included in the input stream, and obtains a data amount. Or it has the several image process part 200 which outputs the stream containing the moving image data from which an image characteristic mutually differs.

本実施の形態では、複数の画像処理部２００には、カメラ１１の撮像により得られた画像データのストリームが同時に入力される。そして、複数の画像処理部２００は、同時に入力されたストリームに対して、異なる画像処理を施して、データ量または画像特性が互いに異なる動画像データを含むストリームを出力する。その際、複数の画像処理部２００は、当該画像処理部２００毎に設けられた画像パス２１０を介して、画像処理を施した動画像データを含むストリームをエンコーダ１４２に出力する。   In the present embodiment, the plurality of image processing units 200 are simultaneously input with a stream of image data obtained by imaging by the camera 11. The plurality of image processing units 200 perform different image processing on the simultaneously input streams, and output streams including moving image data having different data amounts or image characteristics. At this time, the plurality of image processing units 200 output a stream including moving image data subjected to image processing to the encoder 142 via an image path 210 provided for each image processing unit 200.

本実施の形態では、複数の画像処理部２００は、ストリームが含む動画像データに対して異なる画像処理を施しているが、ストリームが含む画像データに対して画像処理を施して、データ量または画像特性が互いに異なる画像データ（言い換えると、符号化した場合の符号量が互いに異なる画像データ）を含むストリームを出力するものであれば良い。例えば、複数の画像処理部２００は、入力されたストリームが含む画像データに対して、異なるパラメータに従って同じ種類の画像処理を施すことによって、データ量が同じであっても、画像特性が互いに異なる画像データ（言い換えると、符号化した場合の符号量が互いに異なる画像データ）を含むストリームを出力するようにしても良い。   In the present embodiment, the plurality of image processing units 200 performs different image processing on the moving image data included in the stream, but performs image processing on the image data included in the stream to obtain a data amount or an image. What is necessary is just to output a stream including image data having different characteristics (in other words, image data having different code amounts when encoded). For example, the plurality of image processing units 200 performs the same type of image processing on the image data included in the input stream according to different parameters, so that even if the data amount is the same, the image characteristics are different from each other. A stream including data (in other words, image data having different code amounts when encoded) may be output.

エンコーダ１４２は、画像処理部２００毎に設けられた複数の符号化器２０１と、スイッチ２０２と、符号量検出部２０３と、を有している。符号化器２０１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合、画像処理部２００から出力されたストリームを所定の符号化方式に従って符号化する。そして、複数の符号化器２０１のいずれかが、符号化したストリームを受信側の情報処理装置１０に送信する。すなわち、本実施の形態では、エンコーダ１４２は、複数の画像処理部２００から出力された複数のストリームを所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを受信側の情報処理装置１０（外部機器の一例）に送信する符号化部の一例として機能する。ここで、複数の画像処理部２００それぞれから出力される複数のストリームは、画像パス毎（画像処理部２００毎）に、そのデータ量が異なる。そのため、複数の符号化器２０１は、複数の画像処理部２００から出力された複数のストリームを、同じ符号化方式（所定の符号化方式）に従って符号化しても、異なる符号量のストリームに符号化することが可能である。   The encoder 142 includes a plurality of encoders 201 provided for each image processing unit 200, a switch 202, and a code amount detection unit 203. When it is determined that the information processing apparatus 10 on the reception side cannot decode the stream encoded by the scalable encoding method, the encoder 201 determines that the stream output from the image processing unit 200 is in accordance with a predetermined encoding method. Encode. Then, any of the plurality of encoders 201 transmits the encoded stream to the information processing apparatus 10 on the reception side. That is, in the present embodiment, the encoder 142 encodes a plurality of streams output from the plurality of image processing units 200 using a predetermined encoding method, and selects one of the plurality of encoded streams. It functions as an example of an encoding unit that transmits to the information processing apparatus 10 on the receiving side (an example of an external device). Here, a plurality of streams output from each of the plurality of image processing units 200 have different data amounts for each image path (for each image processing unit 200). Therefore, even if the plurality of encoders 201 encode the plurality of streams output from the plurality of image processing units 200 according to the same encoding method (predetermined encoding method), the plurality of encoders 201 encode the streams with different code amounts. Is possible.

一方、複数の符号化器２０１は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、画像パス２１０を介して画像処理部２００から出力されたストリームをスケーラブル符号化方式に従って符号化する。そして、複数の符号化器２０１のいずれかが、符号化したストリームを受信側の情報処理装置１０に送信する。   On the other hand, when it is determined by the partner station function determination unit 144 that the information processing apparatus 10 on the receiving side can decode the stream encoded by the scalable encoding method, the plurality of encoders 201 pass the image path 210. Then, the stream output from the image processing unit 200 is encoded according to the scalable encoding method. Then, any of the plurality of encoders 201 transmits the encoded stream to the information processing apparatus 10 on the reception side.

本実施の形態では、複数の符号化器２０１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、スケーラブル符号化方式に従ってストリームの符号化を行っているが、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できるか否かに関わらず、スケーラブル符号化方式以外の所定の符号化方式に従ってストリームの符号化を行っても良い。   In the present embodiment, when it is determined that the information processing apparatus 10 on the receiving side can decode a stream encoded by the scalable encoding scheme, the plurality of encoders 201 encode the stream according to the scalable encoding scheme. However, regardless of whether or not the information processing apparatus 10 on the receiving side can decode the stream encoded by the scalable encoding method, the stream information is transmitted according to a predetermined encoding method other than the scalable encoding method. Encoding may be performed.

スイッチ２０２は、複数の符号化器２０１のうちいずれか一つをネットワーク４０に接続する。   The switch 202 connects any one of the plurality of encoders 201 to the network 40.

符号量検出部２０３は、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態に応じて、複数の符号化器２０１により符号化した複数のストリームのうち受信側の情報処理装置１０に送信するストリームを変更する変更処理を実行する。本実施の形態では、符号量検出部２０３は、複数の符号化器２０１から出力された複数のストリームそれぞれの符号量を検出する。次いで、符号量検出部２０３は、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態および複数のストリームそれぞれの符号量の検出結果に基づいて、複数の画像パス２１０のうち、ネットワーク４０を介して受信側の情報処理装置１０に送信するストリームの画像パス２１０を一つ選択する。   The code amount detection unit 203 transmits a stream to be transmitted to the information processing apparatus 10 on the receiving side among a plurality of streams encoded by the plurality of encoders 201 in accordance with the state of the network 40 detected by the network state detection unit 143. Execute change processing to change In the present embodiment, the code amount detection unit 203 detects the code amount of each of the plurality of streams output from the plurality of encoders 201. Next, the code amount detection unit 203 uses the network 40 out of the plurality of image paths 210 based on the state of the network 40 detected by the network state detection unit 143 and the detection result of the code amount of each of the plurality of streams. One image path 210 of a stream to be transmitted to the information processing apparatus 10 on the receiving side is selected.

そして、符号量検出部２０３は、スイッチ２０２を制御して、複数の符号化器２０１のうち、選択した画像パス２１０を介して入力されたストリームを符号化した符号化器２０１をネットワーク４０に接続して当該符号化器２０１により符号化したストリームを受信側の情報処理装置１０に送信する。これにより、符号量検出部２０３は、上述の変更処理を実行する。   Then, the code amount detection unit 203 controls the switch 202 to connect the encoder 201 that encodes the stream input through the selected image path 210 among the plurality of encoders 201 to the network 40. Then, the stream encoded by the encoder 201 is transmitted to the information processing apparatus 10 on the receiving side. Thereby, the code amount detection unit 203 executes the above-described change process.

ネットワーク状態検知部１４３により検知されるネットワーク４０の状態およびカメラ１１の撮像により得られる動画像データのデータ量は、常に変化するため、符号量検出部２０３は、受信側の情報処理装置１０へのストリームの送信を行っている間、変更処理を連続的に実行する。   Since the state of the network 40 detected by the network state detection unit 143 and the data amount of moving image data obtained by imaging by the camera 11 constantly change, the code amount detection unit 203 sends information to the information processing apparatus 10 on the reception side. While the stream is being transmitted, the change process is continuously executed.

次に、図３および図４を用いて、本実施の形態にかかる情報処理装置１０の画像処理装置１４１において実行される画像処理について説明する。図３および図４は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。   Next, image processing executed in the image processing apparatus 141 of the information processing apparatus 10 according to the present embodiment will be described with reference to FIGS. 3 and 4. 3 and 4 are diagrams for explaining image processing executed in the image processing unit of the information processing apparatus according to the first embodiment.

画像処理部２００は、図３に示すように、入力されたストリームが含む動画像データの複数のフレームＮ，Ｎ＋１，．．．，Ｎ＋７に対して、フレームレートを維持したまま、フレーム（例えば、フレームＮ＋１，Ｎ＋３，Ｎ＋５，Ｎ＋７）を間引く画像処理（以下、第１画像処理と言う）を施すことにより、動画像データのデータ量を変化させることが可能である。図３の下段の図が、複数のフレームＮ，Ｎ＋１，．．，Ｎ＋７に対して、第１画像処理を施した動画像データのフレームを示す図である。その際、画像処理部２００は、出力するストリームが含む動画像データの見た目のフレームレートを例えば１／２等に落とすが、ストリームが含む動画像データのフレームレートを維持する。これにより、受信側の情報処理装置１０が所定のフレームレートのストリームしか復号化することができない場合でも、符号化したストリームの符号量を削減しつつ受信側の情報処理装置１０において復号化可能なストリームを出力することができる。   As shown in FIG. 3, the image processing unit 200 includes a plurality of frames N, N + 1,. . . , N + 7, by applying image processing (hereinafter referred to as first image processing) to thin out frames (for example, frames N + 1, N + 3, N + 5, N + 7) while maintaining the frame rate, It is possible to vary the amount. The lower diagram of FIG. 3 shows a plurality of frames N, N + 1,. . , N + 7, a frame of moving image data that has been subjected to the first image processing. At this time, the image processing unit 200 reduces the apparent frame rate of the moving image data included in the output stream to, for example, 1/2, but maintains the frame rate of the moving image data included in the stream. As a result, even when the information processing apparatus 10 on the receiving side can only decode a stream having a predetermined frame rate, the information processing apparatus 10 on the receiving side can perform decoding while reducing the code amount of the encoded stream. A stream can be output.

また、画像処理部２００は、入力されたストリームが含む動画像データに対して平滑化フィルタ処理（以下、第２画像処理と言う）を施すことにより、同じデータ量であっても、動画像データの画像特性を変化させることが可能である。平滑化フィルタ処理は、注目画素に対して周辺画素との変化（例えば、輝度の変化）を少なくする画像処理であって、画像をぼやけさせるが、画像の輝度を平均化することができる。これにより、ストリームが含む動画像データの連続するフレームの同じ座標のピクセルデータが同様になる頻度が高まるため、符号化するフレームより前のフレームを参照して圧縮する符号化方式（例えば、H.264/MPEGなど）を用いて、ストリームを符号化する場合に、符号化したストリームの符号量を削減することができる。   In addition, the image processing unit 200 performs smoothing filter processing (hereinafter referred to as second image processing) on the moving image data included in the input stream, so that the moving image data has the same data amount. It is possible to change the image characteristics. The smoothing filter process is an image process for reducing a change (for example, a change in luminance) with respect to a pixel of interest with respect to the pixel of interest, and blurs the image, but can average the luminance of the image. This increases the frequency with which pixel data having the same coordinates in successive frames of moving image data included in the stream is similar, and therefore, an encoding method (for example, H. 264 / MPEG, etc.) can be used to encode a stream, the coding amount of the encoded stream can be reduced.

また、画像処理部２００は、図４に示すように、入力されたストリームが含む動画像データに対してガンマ補正（以下、第３画像処理と言う）を施すことにより、同じデータ量であっても、動画像データの画像特性を変化させることが可能である。これにより、画像処理部２００から出力されるストリームが含む動画像データから、所定の輝度値（例えば、１５０〜２５０）の画素のデータを削除して、動画像データのダイナミックレンジを縮小することができるので、符号化したストリームの符号量を削減することができる。情報処理装置１０は、第３画像処理を施した動画像データを含むストリームを受信側の情報処理装置１０に対して送信する場合、第３画像処理に用いたガンマテーブルを予め受信側の情報処理装置１０に送信しておくものとする。これにより、受信側の情報処理装置１０は、受信したガンマテーブルを用いて、受信したストリームが含む動画像データのダイナミックレンジを、元のダイナミックレンジに戻す逆方向のガンマ補正を行うことができる。   Further, as shown in FIG. 4, the image processing unit 200 performs gamma correction (hereinafter referred to as third image processing) on the moving image data included in the input stream so that the data amount is the same. It is also possible to change the image characteristics of the moving image data. As a result, pixel data having a predetermined luminance value (for example, 150 to 250) is deleted from the moving image data included in the stream output from the image processing unit 200 to reduce the dynamic range of the moving image data. Therefore, the code amount of the encoded stream can be reduced. When the information processing apparatus 10 transmits a stream including moving image data subjected to the third image processing to the information processing apparatus 10 on the receiving side, the gamma table used for the third image processing is preliminarily stored in the information processing on the receiving side. Assume that the data is transmitted to the device 10. Thereby, the information processing apparatus 10 on the receiving side can perform gamma correction in the reverse direction to return the dynamic range of the moving image data included in the received stream to the original dynamic range, using the received gamma table.

本実施の形態では、複数の画像処理部２００が互いに異なる種類の画像処理（例えば、第１画像処理、第２画像処理および第３画像処理のいずれか）を、入力されたストリームが含む動画像データに対して施すことにより、各画像処理部２００から出力されるストリームを符号化した場合の符号量を異ならせているが、入力されたストリームが含む画像データの特性に応じて、入力されたストリームが含む画像データに対して施す画像処理の種類を決定しても良い。   In the present embodiment, a moving image in which an input stream includes different types of image processing (for example, one of first image processing, second image processing, and third image processing) performed by a plurality of image processing units 200. By applying to the data, the code amount when the stream output from each image processing unit 200 is encoded is varied, but the input amount is changed according to the characteristics of the image data included in the input stream. The type of image processing to be performed on the image data included in the stream may be determined.

例えば、複数の画像処理部２００は、入力されたストリームが含む画像データが動きの少ない動画像データである場合には、第１画像処理を選択する。また、複数の画像処理部２００は、入力されたストリームが含む画像データが高周波成分が多い画像データである場合には、第２画像処理以外の画像処理を選択する。また、複数の画像処理部２００は、入力されたストリームが含む画像データが明るさに偏りがある画像データである場合には、第３画像処理を選択する。   For example, the plurality of image processing units 200 select the first image processing when the image data included in the input stream is moving image data with little motion. The plurality of image processing units 200 select image processing other than the second image processing when the image data included in the input stream is image data with many high-frequency components. In addition, the plurality of image processing units 200 select the third image processing when the image data included in the input stream is image data with biased brightness.

また、複数の画像処理部２００は、入力されたストリームが含む画像データに対して、互いに同じ種類の画像処理を施す場合には、出力されるストリームを符号化した場合の符号量を異ならせるために、互いに異なるパラメータに従って画像処理を施すことによって、出力されるストリームが含む画像データの画像特性を互いに異ならせる。   In addition, when a plurality of image processing units 200 perform the same type of image processing on the image data included in the input stream, the amount of code when the output stream is encoded is different. In addition, by performing image processing according to different parameters, the image characteristics of the image data included in the output stream are made different from each other.

次に、図５を用いて、本実施の形態にかかる情報処理装置１０によるストリームの出力処理の流れについて説明する。図５は、第１の実施の形態にかかる情報処理装置によるストリームの出力処理の流れを示すフローチャートである。   Next, the flow of stream output processing by the information processing apparatus 10 according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart of a stream output process performed by the information processing apparatus according to the first embodiment.

ネットワーク状態検知部１４３は、エンコーダ１４２によってストリームを出力している間、ネットワーク４０の状態の検知を行う（ステップＳ５０１）。そして、ネットワーク状態検知部１４３は、検知したネットワーク４０の状態に基づいて、ネットワーク４０を介して受信側の情報処理装置１０に送信可能なストリームのデータ量を判定し、その判定結果を示すデータ量情報をエンコーダ１４２に出力する（ステップＳ５０２）。   The network state detection unit 143 detects the state of the network 40 while the encoder 142 outputs the stream (step S501). Then, the network state detection unit 143 determines the data amount of the stream that can be transmitted to the information processing apparatus 10 on the receiving side via the network 40 based on the detected state of the network 40, and the data amount indicating the determination result Information is output to the encoder 142 (step S502).

相手局機能判別部１４４は、ネットワーク４０を介して、ストリームを送受信する全ての拠点の情報処理装置１０（相手局）から機能情報を取得する（ステップＳ５０３）。ここで、機能情報は、相手局が、スケーラブル符号化方式により符号化されたストリームを復号化可能であるか否かを示す情報である。そして、相手局機能判別部１４４は、取得した機能情報に基づいて、相手局がスケーラブル符号化方式により符号化されたストリームを復号化可能であるか否かを判断する（ステップＳ５０４）。   The partner station function determination unit 144 acquires function information from the information processing apparatuses 10 (partner stations) at all bases that transmit and receive streams via the network 40 (step S503). Here, the function information is information indicating whether or not the partner station can decode the stream encoded by the scalable encoding method. Then, the counterpart station function determination unit 144 determines whether the counterpart station can decode the stream encoded by the scalable encoding scheme based on the acquired function information (step S504).

符号量検出部２０３は、相手局がスケーラブル符号化方式により符号化されたストリームを復号化可能であると判断された場合（ステップＳ５０４：Ｙｅｓ）、ネットワーク状態検知部１４３から出力されたデータ量情報が示すデータ量に基づいて、検知したネットワーク４０の状態に応じた画像データの解像度またはフレームレートを決定する。   When it is determined that the partner station can decode the stream encoded by the scalable encoding method (step S504: Yes), the code amount detection unit 203 outputs the data amount information output from the network state detection unit 143. The resolution or frame rate of the image data corresponding to the detected state of the network 40 is determined based on the data amount indicated by.

そして、符号量検出部２０３は、決定した解像度またはフレームレートに従ってスケーラブル符号化方式によりストリームが符号化されるように、符号化器２０１を制御する。すなわち、符号量検出部２０３は、ストリームの送受信に使用可能なネットワーク４０の帯域に合わせて、解像度およびフレームレートを動的に変更するスケーラブル符号化方式による符号化処理を符号化器２０１に指示する（ステップＳ５０５）。これにより、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化可能である場合には、スケーラブル符号化方式を用いてストリームを符号化して送信することができるので、よりネットワーク４０の状態に応じたストリームの送信が可能となる。   Then, the code amount detection unit 203 controls the encoder 201 so that the stream is encoded by the scalable encoding method according to the determined resolution or frame rate. That is, the code amount detection unit 203 instructs the encoder 201 to perform an encoding process using a scalable encoding method that dynamically changes the resolution and the frame rate in accordance with the bandwidth of the network 40 that can be used for stream transmission / reception. (Step S505). Thereby, when the information processing apparatus 10 on the receiving side can decode a stream encoded by the scalable encoding method, the stream can be encoded and transmitted using the scalable encoding method. This makes it possible to transmit a stream according to the state of the network 40.

さらに、符号量検出部２０３は、スイッチ２０２を制御して、複数の符号化器２０１のいずれかをネットワーク４０に接続する。情報処理装置１０は、受信側の情報処理装置１０に対するストリームの送信が終了するまで、決定した解像度またはフレームレートに従ってスケーラブル符号化方式によりストリームが符号化されるように、符号化器２０１を制御する処理を継続する（ステップＳ５０６）。   Further, the code amount detection unit 203 controls the switch 202 to connect one of the plurality of encoders 201 to the network 40. The information processing apparatus 10 controls the encoder 201 so that the stream is encoded by the scalable encoding method according to the determined resolution or frame rate until the transmission of the stream to the information processing apparatus 10 on the reception side is completed. The process continues (step S506).

一方、符号量検出部２０３は、相手局がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合（ステップＳ５０４：Ｎｏ）、スケーラブル符号化方式以外の所定の符号化方式（例えば、一般的な符号化方式であるH.264/MPEG4など）を選択する（ステップＳ５０７）。そして、符号量検出部２０３は、当該所定の符号化方式によりストリームの符号化処理が行われるように、符号化器２０１を制御する。   On the other hand, when it is determined that the partner station cannot decode the stream encoded by the scalable encoding method (No in step S504), the code amount detection unit 203 determines a predetermined encoding method other than the scalable encoding method ( For example, a general encoding method such as H.264 / MPEG4 is selected (step S507). The code amount detection unit 203 controls the encoder 201 so that the stream is encoded by the predetermined encoding method.

符号量検出部２０３は、受信側の情報処理装置１０に対するストリームの送信が終了するまで、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態（ストリームの送信に使用可能なネットワーク４０の帯域）を常に検出する（ステップＳ５０８）。また、符号量検出部２０３は、各符号化器２０１から出力されるストリームの符号量を検出する（ステップＳ５０８）。   The code amount detection unit 203 indicates the state of the network 40 detected by the network state detection unit 143 (the bandwidth of the network 40 that can be used for stream transmission) until the transmission of the stream to the information processing apparatus 10 on the reception side is completed. Always detect (step S508). Also, the code amount detection unit 203 detects the code amount of the stream output from each encoder 201 (step S508).

次いで、符号量検出部２０３は、複数の符号化器２０１が接続された画像パス２１０のうち、最後に検出したネットワーク４０の状態に適した符号量のストリームを出力する符号化器２０１が接続された画像パス２１０を選択する。そして、符号量検出部２０３は、スイッチ２０２を制御して、選択した画像パス２１０に接続された符号化器２０１をネットワーク４０に接続して、当該符号化器２０１により符号化されたストリームを受信側の情報処理装置１０（他の拠点の情報処理装置１０）に送信する（ステップＳ５０８）。これにより、符号量検出部２０３は、ネットワーク４０の状態に応じて、複数の符号化器２０１により符号化した複数のストリームのうち受信側の情報処理装置１０に送信するストリームを変更する変更処理を実行する。   Next, the code amount detection unit 203 is connected to the encoder 201 that outputs a stream having a code amount suitable for the state of the network 40 that is detected last in the image path 210 to which the plurality of encoders 201 are connected. The selected image path 210 is selected. The code amount detection unit 203 controls the switch 202 to connect the encoder 201 connected to the selected image path 210 to the network 40 and receive the stream encoded by the encoder 201. The information is transmitted to the information processing apparatus 10 on the side (information processing apparatus 10 at another base) (step S508). Thereby, the code amount detection unit 203 performs a change process for changing a stream to be transmitted to the information processing apparatus 10 on the receiving side among a plurality of streams encoded by the plurality of encoders 201 according to the state of the network 40. Run.

符号量検出部２０３は、変更処理を実行した場合、符号化器２０１に対して、Ｉピクチャに対する符号化であるフレーム内予測符号化を指示する。符号化器２０１は、画像処理部２００から出力されたストリームが含む動画像データのフレームのうち、変更処理が実行された後、最初のフレームを符号化する場合、フレーム内予測符号化により動画像データを符号化する。これにより、符号化した動画像データの符号量は多くなるが、他のフレームのデータを用いずに符号化されるので、他のフレームの影響を受けて、符号化した動画像データに基づく画像の画質が低下することを防止できる。   When executing the change process, the code amount detection unit 203 instructs the encoder 201 to perform intra-frame predictive encoding, which is encoding for an I picture. The encoder 201 encodes a moving image by intra-frame predictive coding when encoding the first frame after the change process is executed among the frames of moving image data included in the stream output from the image processing unit 200. Encode the data. As a result, the coding amount of the encoded moving image data increases, but since the encoding is performed without using the data of other frames, the image based on the encoded moving image data is affected by the influence of the other frames. Can be prevented from degrading.

符号量検出部２０３は、検出したネットワーク４０の状態の変化に応じて、画像パス２１０の選択およびスイッチ２０２の制御を繰り返す（ステップＳ５０８）。すなわち、符号量検出部２０３は、検出したネットワーク４０の状態の変化に応じて、画像パス２１０を選択し直す。   The code amount detection unit 203 repeats selection of the image path 210 and control of the switch 202 in accordance with the detected change in the state of the network 40 (step S508). That is, the code amount detection unit 203 reselects the image path 210 according to the detected change in the state of the network 40.

このように第１の実施の形態にかかる情報処理装置１０によれば、エンコーダ１４２によりスケーラブル符号化方式に従ってストリームの符号化を行わなくても、ネットワーク４０の状態に、エンコーダ１４２から送信されるストリームのデータ量を動的に追従させることができるので、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態に変化に対応してストリームのデータ量をタイムリーに調整することができる。   As described above, according to the information processing apparatus 10 according to the first embodiment, the stream transmitted from the encoder 142 in the state of the network 40 without encoding the stream by the encoder 142 according to the scalable encoding method. Since the resolution and frame rate of the image data included in the stream to be transmitted are fixed, the stream data amount is adjusted in a timely manner in response to changes in the network status. be able to.

（第２の実施の形態）
本実施の形態は、エンコーダとは別の符号量判定部６２０（図６参照）において変更処理を実行する例である。以下の説明では、第１の実施の形態と同様の箇所については説明を省略する。 (Second Embodiment)
The present embodiment is an example in which the change process is executed in a code amount determination unit 620 (see FIG. 6) different from the encoder. In the following description, description of the same parts as in the first embodiment will be omitted.

図６は、第２の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。本実施の形態では、画像処理装置６００は、図６に示すように、複数の画像処理部２００と、当該画像処理部２００毎に設けられた画像パス２１０のいずれかを後述するエンコーダ６１０に接続するスイッチ６０１と、を備えている。   FIG. 6 is a block diagram illustrating a functional configuration of an image processing apparatus and an encoder included in the information processing apparatus according to the second embodiment. In the present embodiment, as shown in FIG. 6, the image processing apparatus 600 connects a plurality of image processing units 200 and one of image paths 210 provided for each of the image processing units 200 to an encoder 610 described later. And a switch 601 for performing the operation.

本実施の形態では、エンコーダ６１０（符号化部の一例）は、スイッチ６０１により接続された画像パス２１０を介して接続された画像処理部２００から出力されたストリームを所定の符号化方式に従って符号化し、符号化したストリームを受信側の情報処理装置１０に送信する符号化器６１１を備えている。   In the present embodiment, encoder 610 (an example of an encoding unit) encodes a stream output from image processing unit 200 connected via image path 210 connected by switch 601 in accordance with a predetermined encoding method. And an encoder 611 that transmits the encoded stream to the information processing apparatus 10 on the reception side.

本実施の形態でも、符号化器６１１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合、所定の符号化方式に従ってストリームを符号化する。一方、符号化器６１１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、スケーラブル符号化方式に従ってストリームを符号化する。   Also in this embodiment, the encoder 611 encodes a stream according to a predetermined encoding method when it is determined that the information processing apparatus 10 on the receiving side cannot decode the stream encoded by the scalable encoding method. To do. On the other hand, when it is determined that the information processing apparatus 10 on the reception side can decode the stream encoded by the scalable encoding scheme, the encoder 611 encodes the stream according to the scalable encoding scheme.

符号量判定部６２０（変更部の一例）は、画像処理部２００（画像パス２１０）毎に設けられた複数の符号量計算部６２１と、判定部６２２と、を有している。符号量計算部６２１は、画像処理部２００から出力されたストリームを符号化する符号化処理を実行する。さらに、符号量計算部６２１は、符号化したストリームの符号量を算出する。   The code amount determination unit 620 (an example of a changing unit) includes a plurality of code amount calculation units 621 provided for each image processing unit 200 (image path 210), and a determination unit 622. The code amount calculation unit 621 executes an encoding process for encoding the stream output from the image processing unit 200. Furthermore, the code amount calculation unit 621 calculates the code amount of the encoded stream.

判定部６２２は、複数の符号量計算部６２１それぞれにより算出された符号量およびネットワーク状態検知部１４３により検知されたネットワーク４０の状態に基づいて、複数の画像パス２１０のうち、符号化器６１１に接続する画像パス２１０を選択する。そして、判定部６２２は、スイッチ６０１を制御して、選択した画像パス２１０を符号化器６１１に接続する。すなわち、判定部６２２は、複数の符号量計算部６２１それぞれにより算出された符号量およびネットワーク状態検知部１４３により検知されたネットワーク４０の状態に応じて、複数の画像処理部２００から出力された複数のストリームのうち符号化器６１１により符号化するストリームを変更する変更処理を実行する。これにより、エンコーダ６１０が、複数の画像処理部２００から出力された複数のストリームの符号化処理および画像パス２１０の選択を行う必要が無いので、エンコーダ６１０における符号化処理に遅延が生じることを防止できる。   Based on the code amount calculated by each of the plurality of code amount calculation units 621 and the state of the network 40 detected by the network state detection unit 143, the determination unit 622 determines whether the encoder 611 out of the plurality of image paths 210. The image path 210 to be connected is selected. Then, the determination unit 622 controls the switch 601 to connect the selected image path 210 to the encoder 611. That is, the determination unit 622 is configured to output a plurality of images output from the plurality of image processing units 200 according to the code amount calculated by each of the plurality of code amount calculation units 621 and the state of the network 40 detected by the network state detection unit 143. The change process for changing the stream to be encoded by the encoder 611 is executed. Thereby, the encoder 610 does not need to perform the encoding process of the plurality of streams output from the plurality of image processing units 200 and the selection of the image path 210, thereby preventing a delay in the encoding process in the encoder 610. it can.

さらに、判定部６２２は、選択した画像パス２１０に接続された符号量計算部６２１における符号化処理に用いられたパラメータを、符号化器６１１に通知する。これにより、判定部６２２は、符号化器６１１におけるストリームの符号化に用いられるパラメータを変更する。   Further, the determination unit 622 notifies the encoder 611 of the parameters used for the encoding process in the code amount calculation unit 621 connected to the selected image path 210. Thereby, the determination unit 622 changes a parameter used for encoding the stream in the encoder 611.

また、判定部６２２は、複数の符号量計算部６２１により算出された少なくとも２つの符号量が同一である場合、複数の符号量計算部６２１により算出される符号量が互いに異なるように、複数の符号量計算部６２１の符号化処理に用いられるパラメータを変更する。   In addition, the determination unit 622 has a plurality of code amounts calculated by the plurality of code amount calculation units 621 so that the code amounts calculated by the plurality of code amount calculation units 621 are different from each other when at least two code amounts calculated by the plurality of code amount calculation units 621 are the same. The parameter used for the encoding process of the code amount calculation unit 621 is changed.

このように第２の実施の形態にかかる情報処理装置１０によれば、符号化器６１１において複数のストリームの符号化処理および画像パス２１０の選択を行う必要がないので、符号化器６１１におけるストリームの符号化に遅延が生じることを防止できる。   As described above, according to the information processing apparatus 10 according to the second embodiment, it is not necessary to perform encoding processing of a plurality of streams and selection of the image path 210 in the encoder 611. Can be prevented from being delayed.

なお、本実施の形態の情報処理装置１０で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。   Note that the program executed by the information processing apparatus 10 of the present embodiment is provided by being incorporated in advance in a ROM (Read Only Memory) or the like.

本実施の形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。   A program executed by the information processing apparatus 10 according to the present embodiment is a file in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or the like. You may comprise so that it may record and provide on a computer-readable recording medium.

さらに、本実施の形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   Furthermore, the program executed by the information processing apparatus 10 of the present embodiment may be configured to be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. The program executed by the information processing apparatus 10 according to the present embodiment may be configured to be provided or distributed via a network such as the Internet.

本実施の形態の情報処理装置１０で実行されるプログラムは、上述した各部（符号化器２０１，６１１、符号量検出部２０３、ネットワーク状態検知部１４３、相手局機能判別部１４４、音声判別部１４５、デコーダ１４６、符号量判定部６２０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭ（Read Only Memory）からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、符号化部２０１，６１１、符号量検出部２０３、ネットワーク状態検知部１４３、相手局機能判別部１４４、音声判別部１４５、デコーダ１４６、符号量判定部６２０が主記憶装置上に生成されるようになっている。   The program executed by the information processing apparatus 10 according to the present embodiment includes the above-described units (encoders 201 and 611, code amount detection unit 203, network state detection unit 143, counterpart station function determination unit 144, and voice determination unit 145). , A decoder 146, and a code amount determination unit 620). As actual hardware, a CPU (Central Processing Unit) reads out and executes a program from the ROM (Read Only Memory) and executes the above-described units. Are loaded on the main storage, and the encoding units 201 and 611, the code amount detection unit 203, the network state detection unit 143, the counterpart station function determination unit 144, the voice determination unit 145, the decoder 146, and the code amount determination unit 620 are the main ones. It is generated on a storage device.

１０Ａ，１０Ｂ 情報処理装置
１４ 制御部
４０ ネットワーク
１４１，６００ 画像処理装置
１４２，６１０ エンコーダ（符号化部の一例）
１４３ ネットワーク状態検知部
１４４ 相手局機能判別部
２００ 画像処理部
２０１，６１１ 符号化器
２０２，６０１ スイッチ
２０３ 符号量検出部
２１０ 画像パス
６２０ 符号量判定部（変更部の一例）
６２１ 符号量計算部
６２２ 判定部 10A, 10B Information processing device 14 Control unit 40 Network 141, 600 Image processing device 142, 610 Encoder (an example of encoding unit)
143 Network state detection unit 144 Remote station function determination unit 200 Image processing unit 201,611 Encoder 202,601 Switch 203 Code amount detection unit 210 Image path 620 Code amount determination unit (an example of a change unit)
621 Code amount calculation unit 622 determination unit

特開平１１−３４１４８８号公報Japanese Patent Laid-Open No. 11-341488

Claims (6)

画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部と、
前記複数の画像処理部から出力された複数の前記ストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、前記ネットワークの状態に応じて、符号化した前記複数のストリームのうち前記外部機器に送信する前記ストリームの変更処理を実行する符号化部と、
を備えた情報処理装置。 A plurality of image processing units for inputting a stream including image data, performing image processing on the image data included in the stream, and outputting the stream including the image data having different data amounts or image characteristics;
The plurality of streams output from the plurality of image processing units are encoded using a predetermined encoding method other than the scalable encoding method, and any one of the plurality of encoded streams is connected to the own device and the network. An encoding unit that performs processing for changing the stream to be transmitted to the external device among the plurality of encoded streams according to the state of the network;
An information processing apparatus comprising: 前記画像データは、動画像データであり、
前記符号化部は、前記ストリームが含む前記動画像データのフレームのうち、前記変更処理が実行された後、最初のフレームを符号化する場合、フレーム内予測符号化により前記動画像データを符号化する請求項１に記載の情報処理装置。 The image data is moving image data,
The encoding unit encodes the moving image data by intra-frame predictive encoding when encoding the first frame of the moving image data included in the stream after the change process is performed. The information processing apparatus according to claim 1. 前記符号化部は、前記画像処理部毎に設けられ当該画像処理部から出力された前記ストリームを符号化して前記外部機器に送信可能な複数の符号化器と、前記複数の符号化器のうちいずれか一つを前記ネットワークに接続するスイッチと、を有し、前記ネットワークの状態に応じて、前記スイッチを制御して前記複数の符号化器のうちいずれかを前記ネットワークに接続することによって前記変更処理を実行する請求項１または２に記載の情報処理装置。   The encoding unit is provided for each of the image processing units, encodes the stream output from the image processing unit, and transmits the stream to the external device, and among the plurality of encoders A switch for connecting any one of the plurality of encoders to the network by controlling the switch according to a state of the network. The information processing apparatus according to claim 1, wherein the information processing apparatus executes change processing. 前記符号化部は、前記外部機器がスケーラブル符号化方式により符号化された前記ストリームを復号化可能である場合、前記複数の画像処理部から出力された前記ストリームをスケーラブル符号化方式により符号化して前記外部機器に送信する請求項１から３のいずれか一に記載の情報処理装置。   When the external device can decode the stream encoded by the scalable encoding method, the encoding unit encodes the stream output from the plurality of image processing units by the scalable encoding method. The information processing apparatus according to any one of claims 1 to 3, wherein the information processing apparatus transmits the information to the external device. 画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部と、
前記複数の画像処理部から出力された複数の前記ストリームのうちいずれかをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、自装置とネットワークを介して接続された外部機器に送信する符号化部と、
前記複数の画像処理部から出力された前記複数のストリームを符号化し、当該符号化した複数のストリームの符号量および前記ネットワークの状態に応じて、前記複数の画像処理部から出力された前記複数のストリームのうち前記符号化部により符号化する前記ストリームの変更処理を実行する変更部と、
を備えた情報処理装置。 A plurality of image processing units for inputting a stream including image data, performing image processing on the image data included in the stream, and outputting the stream including the image data having different data amounts or image characteristics;
One of the plurality of streams output from the plurality of image processing units is encoded using a predetermined encoding method other than the scalable encoding method, and is then transmitted to an external device connected to the own apparatus via a network. An encoding unit to transmit;
The plurality of streams output from the plurality of image processing units are encoded, and the plurality of streams output from the plurality of image processing units according to a code amount of the plurality of encoded streams and a state of the network A changing unit that executes a changing process of the stream to be encoded by the encoding unit in the stream;
An information processing apparatus comprising: 画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部を備えたコンピュータを、
前記複数の画像処理部から出力された複数の前記ストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、前記ネットワークの状態に応じて、符号化した前記複数のストリームのうち前記外部機器に送信する前記ストリームの変更処理を実行する符号化部、
として機能させるためのプログラム。 A computer including a plurality of image processing units that receive a stream including image data, perform image processing on the image data included in the stream, and output the stream including the image data having different data amounts or image characteristics The
The plurality of streams output from the plurality of image processing units are encoded using a predetermined encoding method other than the scalable encoding method, and any one of the plurality of encoded streams is connected to the own device and the network. An encoding unit that performs processing for changing the stream to be transmitted to the external device among the plurality of encoded streams, according to the state of the network.
Program to function as.
JP2014122880A 2014-06-13 2014-06-13 Information processing device and program Pending JP2016005043A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014122880A JP2016005043A (en) 2014-06-13 2014-06-13 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014122880A JP2016005043A (en) 2014-06-13 2014-06-13 Information processing device and program

Publications (1)

Publication Number Publication Date
JP2016005043A true JP2016005043A (en) 2016-01-12

Family

ID=55224059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014122880A Pending JP2016005043A (en) 2014-06-13 2014-06-13 Information processing device and program

Country Status (1)

Country Link
JP (1) JP2016005043A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017188820A (en) * 2016-04-07 2017-10-12 富士通株式会社 Information processing terminal, information processing method, and program
JP2019526188A (en) * 2016-06-15 2019-09-12 ディビックス， エルエルシー System and method for encoding video content
CN111241438A (en) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 Cartoon picture display method and device, computer readable storage medium and computer equipment
US10708587B2 (en) 2011-08-30 2020-07-07 Divx, Llc Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US11611785B2 (en) 2011-08-30 2023-03-21 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233467A (en) * 1996-02-21 1997-09-05 Fujitsu Ltd Image data communication device and communication data amount adjusting method in image data communication system
JP2003092754A (en) * 2001-09-18 2003-03-28 Hitachi Kokusai Electric Inc Transmission equipment
JP2006157084A (en) * 2004-11-25 2006-06-15 Canon Inc Image coding apparatus, image coding method, and computer program
JP2006527927A (en) * 2003-06-19 2006-12-07 ノキア コーポレイション Stream switching based on gradual decoder refresh
JP2010141824A (en) * 2008-12-15 2010-06-24 Oki Electric Ind Co Ltd Data processing apparatus, program and method, and, network system
JP2012231526A (en) * 2009-04-20 2012-11-22 Dolby Lab Licensing Corp Method and filter selector for selecting pre-processing filter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233467A (en) * 1996-02-21 1997-09-05 Fujitsu Ltd Image data communication device and communication data amount adjusting method in image data communication system
JP2003092754A (en) * 2001-09-18 2003-03-28 Hitachi Kokusai Electric Inc Transmission equipment
JP2006527927A (en) * 2003-06-19 2006-12-07 ノキア コーポレイション Stream switching based on gradual decoder refresh
JP2006157084A (en) * 2004-11-25 2006-06-15 Canon Inc Image coding apparatus, image coding method, and computer program
JP2010141824A (en) * 2008-12-15 2010-06-24 Oki Electric Ind Co Ltd Data processing apparatus, program and method, and, network system
JP2012231526A (en) * 2009-04-20 2012-11-22 Dolby Lab Licensing Corp Method and filter selector for selecting pre-processing filter

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708587B2 (en) 2011-08-30 2020-07-07 Divx, Llc Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates
US11611785B2 (en) 2011-08-30 2023-03-21 Divx, Llc Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels
JP2017188820A (en) * 2016-04-07 2017-10-12 富士通株式会社 Information processing terminal, information processing method, and program
JP2019526188A (en) * 2016-06-15 2019-09-12 ディビックス， エルエルシー System and method for encoding video content
US11064235B2 (en) 2016-06-15 2021-07-13 Divx, Llc Systems and methods for encoding video content
US11483609B2 (en) 2016-06-15 2022-10-25 Divx, Llc Systems and methods for encoding video content
US11729451B2 (en) 2016-06-15 2023-08-15 Divx, Llc Systems and methods for encoding video content
CN111241438A (en) * 2020-01-08 2020-06-05 腾讯科技（深圳）有限公司 Cartoon picture display method and device, computer readable storage medium and computer equipment
CN111241438B (en) * 2020-01-08 2023-04-25 腾讯科技（深圳）有限公司 Cartoon picture display method, cartoon picture display device, cartoon picture display computer readable storage medium and cartoon picture display computer equipment

Similar Documents

Publication Publication Date Title
US9544616B2 (en) Video transmission apparatus
JP4799477B2 (en) Image coding apparatus and image coding method
JP5882547B2 (en) Optimizing coding and transmission parameters in pictures as scenes change
JP2021513817A (en) Derivation of motion vector on the decoder side and improvement of refinement
JP5766877B2 (en) Frame coding selection based on similarity, visual quality, and interest
US9967581B2 (en) Video quality adaptation with frame rate conversion
US9306987B2 (en) Content message for video conferencing
JP2016005043A (en) Information processing device and program
US12015763B2 (en) Video encoding method, video decoding method, and related apparatuses
US20150350641A1 (en) Dynamic range adaptive video coding system
US10432946B2 (en) De-juddering techniques for coded video
CN107852479A (en) The switching display device in visual telephone
US11849127B2 (en) Video encoding method, video decoding method, and related apparatuses
WO2021057697A1 (en) Video encoding and decoding methods and apparatuses, storage medium, and electronic device
US12155848B2 (en) Video encoding method, video decoding method, and related apparatuses
WO2014103131A1 (en) Image monitoring system
JP2013187769A (en) Encoder
JP6193569B2 (en) RECEPTION DEVICE, RECEPTION METHOD, AND PROGRAM, IMAGING DEVICE, IMAGING METHOD, AND PROGRAM, TRANSMISSION DEVICE, TRANSMISSION METHOD, AND PROGRAM
US10735773B2 (en) Video coding techniques for high quality coding of low motion content
US11979577B2 (en) Video encoding method, video decoding method, and related apparatuses
KR20090046812A (en) Video Compression Method
JP2017535171A (en) An apparatus and method for cutting several encoded video streams without prior decoding.
US10298651B2 (en) Encoding device, decoding device, computer program product, and streaming system
US11303940B2 (en) Transmission apparatus, transmission method, and non-transitory computer-readable storage medium
CN116962613A (en) Data transmission methods and devices, computer equipment, storage media

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180910

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181002