KR100962673B1

KR100962673B1 - Image Processing System, Image Processing Method and Image Transfer Method

Info

Publication number: KR100962673B1
Application number: KR1020080003703A
Authority: KR
Inventors: 장태환; 김대희; 김경헌; 이준석; 정재성
Original assignee: (주) 이노티브잉크코리아
Priority date: 2008-01-12
Filing date: 2008-01-12
Publication date: 2010-06-11
Anticipated expiration: 2028-01-12
Also published as: EP2238757A2; WO2009088265A2; US20100303436A1; TWI403174B; TW200943972A; JP2011509626A; KR20090077869A; EP2238757A4; CN101971628A; WO2009088265A3

Abstract

영상처리시스템은 촬영한 영상을 압축하여 제공하는 카메라, 상기 카메라에서 전송되는 동영상 압축 스트림을 디코딩하는 플레이백 서버(playback server)와 상기 플레이백 서버에서 디코딩되는 영상을 처리하는 영상 처리부를 구비하는 영상 준비부, 상기 영상 준비부에서 준비하여 제공하는 영상을 표시하는 디스플레이 장치를 구비하여 카메라에서 촬영되어 압축된 영상을 미리 디코딩하여 준비한 후 디스플레이 장치에 표시하기 위한 다양한 출력 조건으로 영상을 구성하도록 함으로써 영상의 표시 조건이 바뀔 때 마다 필요한 영상을 디코딩하여 표시하는 경우보다 빠른 시간 안에 신속하게 원하는 영상을 표시할 수 있도록 하고, 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시면서 표시하도록 할 수 있다. 또한 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 함으로써 영상처리시스템의 동작 응답성의 향상과 사용효율의 향상시킬 수 있는 효과가 있다.The image processing system includes a camera for compressing and providing a captured image, a playback server for decoding a video compression stream transmitted from the camera, and an image processing unit for processing an image decoded by the playback server. The display unit includes a preparation unit and a display device for displaying an image provided and provided by the image preparation unit, and decodes and prepares the compressed image taken by the camera in advance. Whenever the display conditions of the camera are changed, it is possible to display the desired video quickly in a faster time than if the required video is decoded and displayed. Maximum frame rate of (Frame ra can be displayed while maintaining te). In addition, it is possible to zoom in, zoom out, or pan a corresponding image in real time according to a user's request, thereby improving the operation responsiveness of the image processing system and improving the use efficiency.

Description

Image processing system, video processing method and video transfer method {Video processing system, video processing method and video transfer method}

본 발명은 영상처리시스템과 영상처리방법에 관한 것으로, 더욱 상세하게는 다수의 카메라에서 촬영한 영상을 디코딩하여 디스플레이를 위하여 미리 준비하도록 하는 영상처리시스템, 영상처리방법 및 서버간 영상 신호의 처리 방법에 관한 것이다. The present invention relates to an image processing system and an image processing method, and more particularly, an image processing system, an image processing method, and an image signal processing method between servers, which decode images taken by a plurality of cameras and prepare them for display in advance. It is about.

무인 감시 시스템은 폐쇄 회로 카메라에서 촬영한 영상 데이터를 기록장치에 저장하면서 디스플레이 장치로 출력하도록 하기 위한 것으로, 이러한 무인 감시 시스템의 효율적인 통제와 활용을 위해서는 다수의 위치에 산재하여 있는 다량의 카메라로부터 제공되는 영상 데이터를 하나의 디스플레이 장치에서 효과적으로 확인 및 감시가 이루어지도록 할 필요가 있다.The unmanned surveillance system is to save the image data captured by the closed circuit camera to the display device while storing it in the recording device.For the efficient control and utilization of such an unmanned surveillance system, it is provided from a large number of cameras scattered in multiple locations. It is necessary to effectively check and monitor the image data to be displayed on one display device.

이를 위한 종래의 기술로 "대한민국 등록특허 10-0504133", "감시 모니터의 화면 제어방법"이 있다. 상기 등록특허에서는 하나의 디스플레이 상에 표시되는 화 면 영역을 분할하여 각각의 분할된 영역에 카메라로부터 촬영되는 영상을 나타내도록 한다.Conventional technology for this is "Korean Patent Registration 10-0504133", "screen control method of the monitoring monitor". In the registered patent, a screen area displayed on one display is divided to display an image photographed from a camera in each divided area.

상기 등록특허는 복수의 감시 카메라 또는 복수의 감시 카메라에 결합된 녹화수단으로부터 압축된 복수의 영상을 수신하고, 녹화수단이 수신한 복수의 영상을 복원하고, 복수의 영상을 하나의 화면에서 균등 분할된 복수의 창으로 각각 출력하고, 감시 모니터를 제어하는 재생 수단 내의 메모리에 저장된 화면 제어 수단을 이용하여 사용자 입력 수단에 의한 입력정보에 따라 하나의 화면에서 균등 분할된 복수의 창을 병합, 분리 또는 위치 변경하도록 한다.The registered patent receives a plurality of compressed images from a plurality of surveillance cameras or recording means coupled to the plurality of surveillance cameras, restores the plurality of images received by the recording means, and divides the plurality of images evenly on one screen. A plurality of windows evenly divided in one screen according to the input information by the user input means by using the screen control means stored in the memory in the reproducing means for controlling the monitoring monitor and outputting to each of the plurality of divided windows. Change the location.

그런데 상기 등록특허에서는 각각의 카메라에서 촬영한 영상을 JPEG 과 같은 데이터 포맷으로 압축하여 네트워크를 통하여 녹화수단으로 전송하고, 녹화수단은 출력을 위하여 압축된 영상데이터를 디코딩하여 디스플레이 장치에 표시하도록 하는데, 상기 등록특허는 디스플레이 장치에 영상을 표시하기 위하여 각각의 카메라에서 촬영된 영상데이터를 화면 표시를 위한 요청이 있을 때 마다 녹화장치로부터 디코딩하여 출력하여야 하기 때문에 디스플레이 장치에 영상을 표시하기 위한 동작 시간이 길어지게 되므로 실시간으로 화면의 제어가 이루지지 못하며, 한 화면에 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트 및 해상도를 유지하면서 표시하는 것이 사실상 불가능하다. However, in the registered patent, the images captured by each camera are compressed to a data format such as JPEG and transmitted to a recording means through a network, and the recording means decodes the compressed image data for output and displays it on a display device. In order to display an image on a display device, the registered patent has to decode and output image data photographed by each camera from a recording device whenever a request for screen display is made. As it becomes longer, it is impossible to control the screen in real time, and it is virtually impossible to display images captured by a plurality of cameras on one screen while maintaining the maximum frame rate and resolution of the camera in real time.

본 발명의 목적은 다수의 카메라에서 촬영한 영상을 디코딩하여 미리 준비한 상태에서 필요시마다 영상을 디스플레이 할 수 있도록 하는 영상처리시스템 및 영상처리방법과 서버간 영상 신호의 전송 방법을 제공하는 것이다. It is an object of the present invention to provide an image processing system, an image processing method, and a method of transmitting an image signal between servers, which can decode an image photographed by a plurality of cameras and display an image whenever necessary in a prepared state.

본 발명의 다른 목적은 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시면서 출력 가능하도록 할 수 있는 영상처리시스템 및 영상처리방법과 서버간 영상 신호의 전송 방법을 제공하는 것이다.Another object of the present invention is an image processing system and an image processing method capable of outputting images captured by a plurality of cameras on a single screen in real time while maintaining the maximum frame rate of the camera. The present invention provides a method for transmitting a video signal between a server and a server.

본 발명의 또 다른 목적은 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 하는 영상처리시스템, 영상처리방법 및 서버간 영상 신호의 전송 방법을 제공하는 것이다.It is still another object of the present invention to provide an image processing system, an image processing method, and a method of transmitting an image signal between servers, which can zoom in, zoom out, or pan a corresponding image in real time according to a user's request.

영상처리시스템은 촬영한 영상을 압축하여 제공하는 카메라, 상기 카메라에서 전송되는 동영상 압축 스트림을 디코딩하는 플레이백 서버(playback server)와 상기 플레이백 서버에서 디코딩되는 영상을 처리하는 영상 처리부를 구비하는 영상 준비부, 상기 영상 준비부에서 준비하여 제공하는 영상을 표시하는 디스플레이 장치를 구비한다.The image processing system includes a camera for compressing and providing a captured image, a playback server for decoding a video compression stream transmitted from the camera, and an image processing unit for processing an image decoded by the playback server. A preparation unit and a display device for displaying an image prepared and provided by the image preparation unit.

상기 플레이백 서버는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 묶어서 재생할 수 있다.The playback server may bundle and play a plurality of images captured by the plurality of cameras.

상기 카메라들은 복수개로 마련되고, 복수개의 상기 카메라는 적어도 하나 이상의 허브에 연결되고, 상기 허브와 상기 플레이백 서버는 스위칭 허브에 의하여 스위칭 될 수 있다.The cameras may be provided in plural, the plurality of cameras may be connected to at least one hub, and the hub and the playback server may be switched by a switching hub.

상기 영상 준비부는 다수의 상기 플레이백 서버에서 제공하는 바인딩 영상을 재구성하는 영상 머지 서버와, 상기 영상 머지 서버에서 재구성하여 전송하는 상기 바인딩 영상을 전체 영상으로 구성하고, 소정 출력 조건에 따라 상기 전체 영상을 구성하여 상기 디스플레이 장치로 최종 출력 영상을 전달하는 디스플레이 서버를 구비할 수 있다.The image preparation unit comprises an image merge server for reconstructing binding images provided by a plurality of the playback servers, and the binding image transmitted after reconstructing and transmitting from the image merge server, and the entire image according to a predetermined output condition. The display server may be configured to deliver a final output image to the display device.

상기 영상 머지 서버는 복수개로 구비되고, 상기 디스플레이 서버와 상기 영상 머지 서버 사이에는 각각의 상기 영상 머지 서버의 영상을 처리하는 멀티플 머지 서버가 구비될 수 있다.The image merge server may be provided in plurality, and a multiple merge server may be provided between the display server and the image merge server to process an image of each of the image merge servers.

사용자가 요청한 상기 소정 출력 조건을 상기 디스플레이 서버는 상기 영상 머지 서버로 전달하고, 상기 영상 머지 서버는 상기 소정 출력 조건에 따라 상기 플레이백 서버에서 재생되는 상기 바인딩 영상에서 상기 소정 출력 조건의 영상을 재구성하여 상기 디스플레이 서버로 전달할 수 있다.The display server transmits the predetermined output condition requested by the user to the image merge server, and the image merge server reconstructs an image of the predetermined output condition from the binding image reproduced by the playback server according to the predetermined output condition. Can be transferred to the display server.

영상처리방법은 카메라에서 영상을 압축하여 제공하는 단계; 상기 압축된 영상을 디코딩하는 디코딩 단계; 상기 디코딩되는 영상을 소정 출력 조건으로 재구성하여 전체 영상을 준비하는 준비 단계; 상기 전체 영상에서 상기 소정 출력 조건의 영상을 최종 출력 영상으로 출력하는 출력 단계를 구비한다.The image processing method includes compressing and providing an image from a camera; A decoding step of decoding the compressed image; Preparing a whole image by reconstructing the decoded image to a predetermined output condition; And outputting an image of the predetermined output condition from the entire image as a final output image.

상기 디코딩 단계는 복수개의 상기 카메라에서 촬영한 복수개의 영상을 디코딩 한 후 상기 복수개의 영상을 묶어서 재생할 수 있다.The decoding may decode a plurality of images photographed by a plurality of cameras and bundle and reproduce the plurality of images.

상기 준비 단계에서 상기 전체 영상에 상기 소정 출력 조건에 해당하는 영상이 있으면 상기 전체 영상에서 상기 소정 출력 조건의 영상을 전달하고, 상기 전체 영상에 상기 소정 출력 조건의 영상이 없으면 상기 디코딩 단게에서 이미 디코딩된 영상 중에서 상기 소정 출력 조건에 해당하는 영상이 포함된 상기 전체 영상을 재구성하고, 상기 재구성된 전체 영상에서 상기 소정 출력 조건의 영상을 선택하여 전달할 수 있다. In the preparation step, if the image corresponding to the predetermined output condition exists in the entire image, the image of the predetermined output condition is transferred from the entire image, and if the image of the predetermined output condition is not present in the entire image, the decoding step is already decoded. The entire image including the image corresponding to the predetermined output condition may be reconstructed among the extracted images, and the image of the predetermined output condition may be selected and transmitted from the reconstructed entire image.

상기 소정 출력 조건은 사용자에 의하여 선택되는 다수의 상기 카메라 중에서 선택된 카메라가 촬영한 영상, 또는 상기 선택된 카메라에서 촬영한 영상의 줌인, 줌아웃 또는 패닝 상태에 대한 것일 수 있다.The predetermined output condition may be for a zoom-in, zoom-out, or panning state of an image photographed by a camera selected from a plurality of cameras selected by a user, or an image photographed by the selected camera.

영상처리방법은 다수의 카메라가 촬영한 영상을 압축하여 전송하고, 상기 다수의 카메라에서 압축 전송된 영상을 디코딩하여 영상을 최종 출력이 이루어지는 동안에 다수의 영상으로 함께 지속적으로 재생하고, 상기 다수의 영상을 상기 카메라가 촬영하는 최대 해상도 이하의 범위를 가지는 소정 출력 조건으로 전체 영상을 구성하고, 상기 전체 영상에서 상기 소정 출력 조건에 해당하는 영상을 선택하여 출력한다. The image processing method compresses and transmits images captured by a plurality of cameras, decodes the images transmitted and compressed by the plurality of cameras, and continuously reproduces the images together in a plurality of images during final output, and the plurality of images. The entire image is composed of a predetermined output condition having a range less than or equal to the maximum resolution photographed by the camera, and an image corresponding to the predetermined output condition is selected from the entire image and output.

상기 소정 출력 조건이 바뀌면 상기 전체 영상에서 바뀐 출력 조건의 영상을 선택하여 출력할 수 있다.When the predetermined output condition is changed, an image of the changed output condition may be selected and output from the entire image.

상기 소정 출력 조건이 바뀌고, 상기 전체 영상에 바뀐 출력 조건의 영상이 포함되어 있지 않으면, 상기 재생되는 영상으로부터 상기 전체 영상을 재구성하고, 상기 재구성된 영상으로부터 상기 바뀐 출력 조건에 해당하는 영상을 선택하여 출 력할 수 있다.If the predetermined output condition is changed and the entire image does not include the changed output condition image, the entire image is reconstructed from the reproduced image, and the image corresponding to the changed output condition is selected from the reconstructed image. Can be output.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 실시간 영상 처리를 위한 전송 서버와 수신 서버 간의 영상 신호의 전송 방법에 의하면, 상기 전송 서버는 입력되는 복수의 영상들을 그래픽 카드를 사용하여 모두 디코딩된 영상들로 재생하여 출력하고, 상기 수신 서버는 상기 전송 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득하며, 상기 전송 서버는 전용선을 이용하여 상기 디코딩된 영상들의 신호를 상기 수신 서버로 전송한다.According to a method of transmitting a video signal between a transmission server and a reception server for real-time image processing according to an embodiment of the present invention for solving the above problems, the transmission server uses a graphics card to send a plurality of images Reproduces and decodes the decoded images, and the receiving server obtains the decoded images output from the transmitting server using a capture card, and the transmitting server receives the signals of the decoded images using a dedicated line. Send to server.

상기 실시예의 일 측면에 의하면, 상기 전송 서버로 입력되는 복수의 영상들은 다수의 카메라 각각에서 촬영하여 획득한 부호화된 각각의 영상을 함께 집합시킨 것이며, 상기 수신 서버는 복수의 상기 전송 서버로부터 디코딩된 영상들의 신호를 수신할 수 있다. 이 경우에, 상기 전송 서버는 플레이백 서버이고, 상기 수신 서버는 영상 머지 서버이며, 상기 영상 머지 서버는 상기 복수의 전송 서버로부터 입력되는 상기 디코딩된 영상들을, 상기 영상 머지 서버의 외부로부터 입력되는 요청 신호에 따라서, 임의의 형태로 조합한 영상 신호로 변형하여 디스플레이 서버로 출력할 수 있다. 그리고 상기 영상 머지 서버는 임의의 형태로 조합된 영상 신호를 디코딩된 영상들로 재생하여 출력하고, 상기 디스플레이 서버는 상기 영상 머지 서버로부터 출력되는 상기 디코딩된 영상들을 캡쳐 카드를 사용하여 획득할 수 있다. 또한, 상기 수신 서버가 수신하는 상기 디코딩된 영상들은 상기 다수의 카메라가 획득한 고해상도의 영상일 수 있다.According to an aspect of the embodiment, the plurality of images input to the transmission server is a set of each of the encoded images obtained by photographing each of the plurality of cameras together, the receiving server is decoded from the plurality of transmission servers Signals of the images may be received. In this case, the transmission server is a playback server, the receiving server is a video merge server, and the video merge server is configured to input the decoded images input from the plurality of transmission servers from outside of the video merge server. According to the request signal, it can be transformed into a video signal combined in any form and output to the display server. The image merge server reproduces and outputs a video signal combined in any form as decoded images, and the display server may acquire the decoded images output from the image merge server using a capture card. . The decoded images received by the receiving server may be high resolution images obtained by the plurality of cameras.

본 발명에 따른 영상처리시스템, 영상처리방법 및 영상전달방법은 카메라에서 촬영되어 압축된 영상을 미리 디코딩하여 준비한 후 디스플레이 장치에 표시하기 위한 다양한 출력 조건으로 영상을 구성하여 출력하도록 함으로써 영상의 표시 조건이 바뀔 때 마다 필요한 영상을 디코딩하여 표시하는 종래의 경우보다 빠른 시간 안에 신속하게 원하는 영상을 표시할 수 있도록 하고, 더욱이 하나의 화면에 카메라 수의 제한 없이 다수의 카메라에서 촬영한 영상을 실시간으로 카메라의 최대 프레임 레이트(Frame rate)를 유지시키면서 표시하도록 할 수 있다. 따라서 사용자의 요구에 따라 실시간으로 해당 영상을 줌인, 줌아웃 또는 패닝할 수 있도록 함으로써 영상처리시스템의 동작 응답성과 사용효율을 향상시킬 수 있는 효과가 있다.In the image processing system, the image processing method, and the image delivery method according to the present invention, the image display conditions are configured by outputting the image under various output conditions for display on the display device after decoding and preparing the image captured by the camera in advance. Whenever it changes, it is possible to display the desired image quickly and faster than the conventional case of decoding and displaying the required image, and furthermore, the image taken by multiple cameras in real time without limiting the number of cameras on one screen Can be displayed while maintaining the maximum frame rate. Therefore, the image can be zoomed in, zoomed out, or panned in real time according to a user's request, thereby improving the operation responsiveness and use efficiency of the image processing system.

도 1은 본 실시예에 따른 영상처리시스템을 도시한 도면이다. 도 1에 도시된 바와 같이 영상처리시스템은 네트워크상에 연결되는 다수개의 카메라(160)를 구비한다. 이 카메라(160)들은 각각 근거리 네트워크를 구성할 수 있으며, 이때 이들 각각의 카메라(160)들은 각각의 허브(hub)(150)에 연결될 수 있다. 1 is a diagram showing an image processing system according to the present embodiment. As shown in FIG. 1, an image processing system includes a plurality of cameras 160 connected on a network. Each of the cameras 160 may form a local area network, and each of these cameras 160 may be connected to a respective hub 150.

본 실시예에서 카메라(160)는 촬영된 영상을 MJPEG, MPEG-4, JPEG 2000 등과 같은 영상 압축 프로토콜로 압축하는 인코더(encoder)를 구비한다. 따라서 카메라(160)는 촬영한 영상을 동영상 압축 스트림(stream)으로 출력한다. 이러한 카메라(160)는 640 X 480 해상도를 가지는 네트워크 IP 카메라(160) 또는 아날로그 카 메라(160)일 수 있다. In the present embodiment, the camera 160 includes an encoder that compresses the captured image by an image compression protocol such as MJPEG, MPEG-4, JPEG 2000, or the like. Therefore, the camera 160 outputs the captured image as a video compression stream. The camera 160 may be a network IP camera 160 or an analog camera 160 having a 640 × 480 resolution.

카메라(160)들이 연결된 모든 허브(150)는 카메라(160)의 IP 어드레스 또는 MAC 어드레스와 같은 카메라(160)의 고유 어드레스에 따라 데이터 송수신을 위한 연결을 제어한다. 또한 각각의 허브(150)는 이들 허브(150)에 대한 라우팅(routing)이 가능한 기가비트 스위칭 허브(gigabit switching hub)(140)에 집선된다. All the hubs 150 to which the cameras 160 are connected control the connection for data transmission and reception according to the unique address of the camera 160 such as the IP address or the MAC address of the camera 160. Each hub 150 is also concentrated at a gigabit switching hub 140 capable of routing to these hubs 150.

그리고 기가비트 스위칭 허브(140)에는 영상 처리부가 연결된다. 영상 처리부는 다수개의 플레이백 서버(130a)(130b)(130c)(130d)와 이 다수개의 플레이백 서버(130a)(130b)(130c)(130d)와 전용선으로 연결되는 영상 준비부(120)를 구비한다. 기가비트 스위칭 허브(140)는 카메라(160)가 연결된 허브(150)들과 각각의 플레이백 서버(130a)(130b)(130c)(130d)를 라우팅할 수 있다. In addition, the image processing unit is connected to the gigabit switching hub 140. The image processor may include a plurality of playback servers 130a, 130b, 130c, and 130d, and a plurality of playback servers 130a, 130b, 130c, and 130d. It is provided. The gigabit switching hub 140 may route the hubs 150 to which the camera 160 is connected, and each of the playback servers 130a, 130b, 130c, and 130d.

플레이백 서버(130)는 각각이 하나의 허브(150)에 연결된 다수개의 카메라(160)들로부터 제공되는 동영상 압축 스트림을 저장할 수 있는 기록매체와 기록된 영상의 재생을 위하여 압축된 영상 데이터를 디코딩하기 위한 디코더(decoder)와 그래픽 카드를 구비하는 디지털 영상 저장장치(Digital Video Recorder)일 수 있다. 본 실시예는 플레이백 서버(130)가 4대인 경우를 예시하고 있다. 하지만 플레이백 서버(130)는 이보다 작거나 많을 수 있다. The playback server 130 decodes the compressed video data for reproducing the recorded video and the recording medium capable of storing the compressed video streams provided from the plurality of cameras 160 connected to one hub 150. It may be a digital video recorder having a decoder and a graphics card. This embodiment illustrates the case where there are four playback servers 130. However, the playback server 130 may be smaller or larger than this.

한편, 모든 플레이백 서버들(130a)(130b)(130c)(130d)은 영상 준비부(120)와 연결된다. 영상 준비부(120)는 플레이백 서버(130)에서 재생하는 영상을 별도의 디코딩 과정없이 샘플링하여 출력 준비하기 위한 것으로 빠른 프레임 레이트로 영상 을 준비하는 영상 머지 서버(122)와 영상 머지 서버(122)에서 전달받은 영상을 신속하게 편집하는 디스플레이 서버(121)를 포함할 수 있다. Meanwhile, all of the playback servers 130a, 130b, 130c, and 130d are connected to the image preparation unit 120. The image preparation unit 120 prepares and outputs the image reproduced by the playback server 130 without a separate decoding process. The image merge server 122 and the image merge server 122 which prepare the image at a high frame rate are prepared. It may include a display server 121 for quickly editing the image received from.

이러한 영상 머지 서버(122)와 플레이백 서버(130)는 두 개의 영상출력단자로 연결될 수 있다. 이 두 개의 영상출력단자는 2개의 DVI(digital video interactive) 또는 1개의 DVI와 1개의 RGB 단자일 수 있다. The video merge server 122 and the playback server 130 may be connected to two video output terminals. The two video output terminals may be two digital video interactive (DVI) or one DVI and one RGB terminal.

본 실시예에서 영상 머지 서버(122)는 네 개의 플레이백 서버(130a)(130b)(130c)(130d)로부터 디코딩된 영상 데이터를 받아 처리한다. 영상 머지 서버(122)는 디스플레이 서버(121)의 요청에 따라 영상 데이터를 재구성하여 고품질의 영상을 디스플레이 서버(121)로 전달할 수 있다. 영상 데이터의 재구성시 영상 머지 서버(122)는 플레이백 서버들(130a)(130b)(130c)(130d)로부터 재구성에 필요한 영상을 받아서 처리한다.In the present embodiment, the video merge server 122 receives and processes decoded video data from four playback servers 130a, 130b, 130c, and 130d. The image merge server 122 may reconstruct image data in response to a request of the display server 121 and transmit a high quality image to the display server 121. When reconstructing the image data, the image merge server 122 receives and processes images necessary for reconstruction from the playback servers 130a, 130b, 130c, and 130d.

한편, 영상 머지 서버(122)에 연결되는 디스플레이 서버(121)는 4 채널의 비디오 캡처 카드(video capture card)를 구비한다. 디스플레이 서버(121)는 영상 머지 서버(122)에서 제공하는 재구성 영상을 이용하여 전체 영상(M1, M2, M3, 도 4a, 도 4b, 도 4c 참조)으로부터 소정 출력 조건에 따른 영상을 선택, 편집한다. 이 소정 출력 조건은 사용자의 상호작용(예를 들어 마우스 클릭, 드래그(drag), 터치 스크린 동작 등에 반응하여 디스플레이 서버(121)가 영상 머지 서버(122)에게 최종 출력할 카메라(160), 카메라 해상도 정보 등을 보내주는 것을 말하고, 이 소정 출력 조건에 응답하여 영상 머지 서버(122)는 플레이백 서버(130)에서 재생하는 영상을 별도의 디코딩 과정과 같은 오버헤드 없이 디스플레이 서버(121)에 소정 출력 조건의 영상을 제공하게 된다.Meanwhile, the display server 121 connected to the image merge server 122 includes four video capture cards. The display server 121 selects and edits an image according to a predetermined output condition from the entire image M1, M2, M3, FIGS. 4A, 4B, and 4C by using the reconstructed image provided by the image merge server 122. do. The predetermined output condition is a camera 160 and a camera resolution which the display server 121 outputs to the image merge server 122 in response to user interaction (for example, mouse click, drag, and touch screen operation). In response to the predetermined output condition, the video merge server 122 outputs the video reproduced by the playback server 130 to the display server 121 without the overhead of a separate decoding process. It provides an image of the condition.

그리고 디스플레이 장치(121)에서 소정 출력 조건에 따라 구성된 영상 데이터는 디스플레이 장치(110)로 전송된다. 이때의 디스플레이 서버(121)는 영상 머지 서버(122)에서 출력하는 영상을 저해상도와 고해상도 영역으로 분할하여 각 화면을 고유한 개체(unique object)로 인식하여 처리한다. The image data configured according to a predetermined output condition in the display apparatus 121 is transmitted to the display apparatus 110. At this time, the display server 121 divides the image output from the image merge server 122 into a low resolution and a high resolution area, and recognizes and processes each screen as a unique object.

그리고 디스플레이 서버(121)에 DVI 등으로 연결되며 디스플레이 서버(121)에서 제공하는 영상을 최종 출력하여 표시하는 디스플레이 장치(110)를 구비하고, 전술한 카메라(160), 플레이백 서버(130), 영상 머지 서버(122) 그리고 디스플레이 서버(121)의 동작을 제어하는 제어부(100)를 구비한다. And a display device 110 connected to the display server 121 by DVI or the like and finally displaying and displaying an image provided by the display server 121. The camera 160, the playback server 130, The control unit 100 controls an operation of the image merge server 122 and the display server 121.

이하에서는 영상처리방법에 대한 실시예를 설명한다. Hereinafter, an embodiment of an image processing method will be described.

도 2는 본 실시예에 따른 영상처리방법을 설명하기 위한 도면이다. 도 2에 도시된 바와 같이 카메라(160)가 각 위치에서 촬영하면 촬영된 영상은 카메라(160)에서 압축되어 플레이백 서버(130)로 전송된다(S10). 이때 카메라(160)는 항상 자신의 최대 해상도로 영상을 촬영하여 압축한다. 즉 본 실시예의 경우 각각의 카메라(160)는 최대 해상도인 640 X 480 해상도로 해당 영상을 촬영하여 압축한 후 플레이백 서버(130)로 전송한다. 그리고 플레이백 서버(130)는 압축된 영상을 디코딩하여 한 화면에 다수의 카메라(160)에서 촬영한 영상을 묶어서 바인딩 영상(P)으로 구성한 후 영상 준비부(120)로 전송한다(S20). 2 is a diagram for explaining an image processing method according to an exemplary embodiment. As shown in FIG. 2, when the camera 160 photographs each position, the captured image is compressed by the camera 160 and transmitted to the playback server 130 (S10). At this time, the camera 160 always photographs and compresses the image at its maximum resolution. That is, in the present embodiment, each camera 160 captures and compresses the video at the maximum resolution of 640 × 480 and transmits the same to the playback server 130. The playback server 130 decodes the compressed image, binds the images captured by the plurality of cameras 160 on one screen, forms a binding image P, and transmits the combined image P to the image preparation unit 120 (S20).

그리고 영상 준비부(120)의 영상 머지 서버(122)는 모든 플레이백 서버(130a)(130b)(130c)(130d)로부터 제공되는 영상들과 디스플레이 서버(121)에서 요청되는 소정 출력 조건에 따fms 영상을 재구성하여 디스플레이 서버(121)로 전송한다(S30).The image merge server 122 of the image preparation unit 120 may be configured according to the images provided from all of the playback servers 130a, 130b, 130c, and 130d and the predetermined output condition requested by the display server 121. The fms image is reconstructed and transmitted to the display server 121 (S30).

그리고 디스플레이 서버(121)는 디폴트 영상(default display) 또는 사용자에 의하여 요청된 소정 출력 조건에 따른 다양한 전체 영상(M1, M2, M3)을 인식하고, 이 전체 영상(M1, M2, M3)에서 디폴트 영상 또는 소정 출력 조건에 따른 영상을 확인하여 선택 및 편집한다. 그리고 이 선택 및 편집된 영상을 디스플레이 장치(110)로 전달하면, 디스플레이 장치(110)는 해당 영상을 최종 출력 영상(D1, D2, D3, 도 5a, 도 5b, 도 5c 참조)으로 출력한다(S40).The display server 121 recognizes various images M1, M2, M3 according to a default display or a predetermined output condition requested by the user, and displays a default value in the images M1, M2, M3. Check and select an image or an image according to a predetermined output condition. When the selected and edited image is transferred to the display apparatus 110, the display apparatus 110 outputs the corresponding image as the final output image D1, D2, D3, FIGS. 5A, 5B, and 5C (see FIG. 5C). S40).

한편, 사용자가 입력한 소정 출력 조건의 영상을 디스플레이 서버(121)가 전체 영상(M1, M2, M3)에서 인식하고 있지 않은 경우 디스플레이 서버(121)는 영상 머지 서버(122)로부터 받은 영상 데이터로 해당 출력 조건의 영상이 포함된 영상으로 전체 영상(M1, M2, M3)을 갱신시킨다. On the other hand, when the display server 121 does not recognize the image of the predetermined output condition input by the user in the entire images M1, M2, and M3, the display server 121 is the image data received from the image merge server 122. The entire image M1, M2, M3 is updated with the image including the image of the output condition.

그리고 디스플레이 서버(121)는 이 갱신된 전체 영상(M1, M2, M3)으로부터 해당 출력 조건의 영상을 재편집 구성하여 디스플레이 장치(110)로 전달하고, 디스플레이 장치(110)는 해당 출력 조건의 영상을 최종 출력 영상(D1, D2, D3)으로 출력한다. 이때의 소정 출력 조건은 특정 카메라가 촬영한 특정 해상도의 줌인, 줌아웃, 패닝 등과 같은 다양한 화면 상태에 대한 조건일 수 있는데, 이때의 해상도는 카메라(160)가 촬영한 최대 해상도로 선택될 수 있다.The display server 121 re-edits the image of the output condition from the updated all images M1, M2, and M3 to the display apparatus 110, and the display apparatus 110 displays the image of the output condition. Is output as the final output images D1, D2, and D3. In this case, the predetermined output condition may be a condition for various screen states such as zoom-in, zoom-out, and panning of a specific resolution captured by a specific camera, and the resolution may be selected as the maximum resolution captured by the camera 160.

따라서 디스플레이 장치(110)는 사용자가 요구하는 다양한 출력 조건에 따른 영상을 실시간으로 디스플레이 서버(121)로부터 받아서 출력함으로써 빠른 시간 안 에 고해상도의 영상을 화면상에 표시할 수 있게 된다. 더욱이 영상의 출력 중 디스플레이 장치(110)에서 표시하고자 하는 영상의 조건이 바뀔 때 영상 머지 서버(122)는 실시간으로 플레이백 서버(130)로부터 재생되는 영상을 재구성하여, 높은 프레임 레이트와 고해상도의 영상을 실시간으로 디스플레이 서버(121)로 전달하기 때문에 최종적으로 디스플레이 장치(110)에서 표시되는 다양한 영상들은 매우 빠른 응답으로 고품질의 영상이 출력될 수 있다. Therefore, the display device 110 can display a high resolution image on a screen in a short time by receiving and outputting an image according to various output conditions required by a user from the display server 121 in real time. Furthermore, when the condition of the image to be displayed on the display device 110 is changed during the output of the image, the image merge server 122 reconstructs the image reproduced from the playback server 130 in real time, so that the image has a high frame rate and a high resolution. Since the image is delivered to the display server 121 in real time, various images displayed on the display apparatus 110 may output high quality images in a very quick response.

이하에서는 영상처리방법에 대한 각 구성요소에서 제공하는 화면의 상태에 따른 보다 구체적인 실시예를 도면을 참고하여 상세히 설명한다. Hereinafter, a specific embodiment according to the state of the screen provided by each component of the image processing method will be described in detail with reference to the drawings.

이미 설명한 바와 같이 임의의 설치위치에 위치한 카메라(160)가 제어부(100)의 동작신호를 수신하여 해당 위치에서 최대 해상도로 촬영을 시작하면, 촬영된 영상은 카메라(160)의 인코더에서 압축되어 동영상 압축 스트림으로 허브(150)와 기가비트 스위칭 허브(140)를 거쳐서 해당 플레이백 서버(130a)(130b)(130c)(130d)로 전송된다. As described above, when the camera 160 located at an arbitrary installation position receives the operation signal of the control unit 100 and starts recording at the maximum resolution at the corresponding position, the captured image is compressed by the encoder of the camera 160 and the video is The compressed stream is transmitted to the corresponding playback servers 130a, 130b, 130c, and 130d via the hub 150 and the gigabit switching hub 140.

본 실시예에서 하나의 허브(150)에는 18대의 카메라(160)가 연결된 것을 실시예로 하고, 하나의 플레이백 서브(130)는 18개의 화면을 묶어서 동시에 재생하는 것을 실시예로 설명하고 있다. 그러나 카메라(160)의 수, 플레이백 서버(130)의 수 그리고 플레이백 서브(130)에서 디코딩하여 재생하는 화면의 수는 보다 다양하게 변형 실시될 수 있다. 그리고 플레이백 서버(130) 이후부터는 영상 데이터의 전송 및 출력을 위하여 영상의 인코딩이나 디코딩 과정이 이루어지지 않고, 실시간으로 고해상도의 영상이 최종 출력을 위하여 처리된다.In the present embodiment, one hub 150 is connected to 18 cameras 160, and one playback sub 130 is used to bundle 18 screens and play them simultaneously. However, the number of cameras 160, the number of playback servers 130, and the number of screens decoded and reproduced by the playback sub 130 may be modified in various ways. After the playback server 130, the encoding or decoding process of the image is not performed to transmit and output the image data, and the high resolution image is processed for the final output in real time.

도 3은 각각의 플레이백 서버(130a)(130b)(130c)(130d)가 각 카메라(160)에서 촬영한 영상을 디코딩하여 모자익 뷰(mosaic view)로 재생하는 영상(이하에서는 "바인딩 영상(P)"이라고 한다)을 예시적으로 도시한 도면이다. FIG. 3 is an image in which each of the playback servers 130a, 130b, 130c, and 130d decodes an image captured by each camera 160 and reproduces the image in a mosaic view (hereinafter, referred to as a “binding image ( P) "is exemplarily illustrated.

도 3에 도시된 바와 같이 플레이백 서버(130)는 18개의 영상 데이터를 처리한다. 이를 위하여 플레이백 서버(130)는 균등 크기로 분할된 두 개의 영상 출력 영역(video output area)(A1, A2)으로 바인딩 영상(P)을 모자익 뷰로 구성하여 재생한 후 각각의 플레이백 서버(130)는 바인딩 영상(P)을 두 개의 DVI 또는 한 개의 DVI 와 한 개의 RGB 단자를 이용하여 영상 머지 서버(122)로 전송한다. As shown in FIG. 3, the playback server 130 processes 18 pieces of image data. To this end, the playback server 130 configures and plays back the binding video P as a parent view with two video output areas A1 and A2 divided into equally sized frames, and then plays back each playback server 130. ) Transmits the binding image P to the image merge server 122 using two DVI or one DVI and one RGB terminal.

그리고 바인딩 영상(P) 중 하나의 영역(A1 또는 A2)은 하나의 DVI 또는 RGB 단자를 통하여 전송될 수 있다. 그리고 플레이백 서버(130)에서 구성하는 바인딩 영상(P)에 포함되는 한 개의 영상이 640 X 480 해상도를 가지는 경우 하나의 영역(A1 또는 A2)은 9개의 영상을 포함하므로 1920 X 1440 화면크기로 구성될 수 있다. One region A1 or A2 of the binding image P may be transmitted through one DVI or RGB terminal. In addition, when one image included in the binding image P configured in the playback server 130 has a 640 X 480 resolution, one region A1 or A2 includes nine images, so that the image is 1920 X 1440. Can be configured.

이와 같이 플레이백 서버(130)는 카메라(160)의 동작 중 카메라(160)가 촬영한 영상을 촬영시의 해상도로 디코딩하여 영상 머지 서버(122)로 전송한다. 그리고 영상 머지 서버(122)는 모두 8개의 채널로 각각의 플레이백 서버(130a)(130b)(130c)(130d)로부터 전송되는 출력 영상을 신속하게 받는다.In this way, the playback server 130 decodes the image captured by the camera 160 during the operation of the camera 160 to the resolution at the time of shooting, and transmits the image to the image merge server 122. The video merge server 122 quickly receives the output video transmitted from each of the playback servers 130a, 130b, 130c, and 130d in all eight channels.

그리고 영상 머지 서버(122)는 모든 플레이백 서버(130a)(130b)(130c)(130d)에서 전송하는 바인딩 영상(P)을 다른 디코딩 과정 없이 재구성하여 디스플레이 서버(121)로 전송한다. 이때 영상 머지 서버(122)는 디스플레이 서버(121)에서 필요 로 하는 화면 내용을 소정의 화면 크기로 구성할 수 있고, 또한 디스플레이 서버(121)가 사용자에 의하여 요청된 다양한 출력 조건으로 영상을 재구성하거나, 샘플링할 수 있다. The image merge server 122 reconstructs the binding image P transmitted by all of the playback servers 130a, 130b, 130c, and 130d without any other decoding process, and transmits the same to the display server 121. In this case, the image merge server 122 may configure the screen content required by the display server 121 to a predetermined screen size, and the display server 121 may reconstruct the image to various output conditions requested by the user. Can be sampled.

본 실시예에서 영상 머지 서버(122)는 플레이백 서버(130)에서 전송되는 바인딩 영상(P)을 네 개의 1280 X 720 화면크기로 재구성하여 네 개의 DVI를 이용하여 디스플레이 서버(121)로 전송한다. 따라서 영상 머지 서버(122)에서 디스플레이 서버(121)로 제공하는 전체 영상(M1, M2, M3)의 크기는 2560 X 1440이 될 수 있다. 이때의 재구성 영상과 전체 영상(M1, M2, M3)의 크기는 다양하게 변형 실시될 수 있다. In this embodiment, the video merge server 122 reconstructs the binding video P transmitted from the playback server 130 to four 1280 × 720 screen sizes and transmits the same to the display server 121 using four DVI. . Accordingly, the size of the entire images M1, M2, and M3 provided from the image merge server 122 to the display server 121 may be 2560 × 1440. At this time, the size of the reconstructed image and the entire image M1, M2, M3 may be modified in various ways.

한편, 디스플레이 서버(121)는 다양한 배치 방법으로 전체 영상((M1, M2, M3)을 인식할 수 있다. 그리고 모든 플레이백 서버(130a)(130b)(130c)(130d)에서 제공하는 화면은 전체 영상(M1, M2, M3)에 포함될 수 있다. 영상 머지 서버(122)는 플레이백 서버들(130a)(130b)(130c)(130d)에서 갱신한 영상 데이터를 실시간으로 입력받아 각 화면의 영상 데이터를 계속해서 갱신한 후 화면을 재구성하고, 이 재구성한 영상을 디스플레이 서버(121)로 전송한다. 따라서 디스플레이 서버(121)는 실시간으로 전송되는 영상 머지 서버(122)의 재구성 영상을 받아 전체 영상(M1, M2, M3)을 다양한 배치상태로 인식하여 처리할 수 있다.On the other hand, the display server 121 may recognize the entire image (M1, M2, M3) by various arrangement methods, and the screens provided by all of the playback servers 130a, 130b, 130c, and 130d may be used. The image merge server 122 may receive image data updated by the playback servers 130a, 130b, 130c, and 130d in real time, and may be included in the entire images M1, M2, and M3. After continuously updating the image data, the screen is reconfigured, and the reconstructed image is transmitted to the display server 121. Therefore, the display server 121 receives the reconstructed image of the image merge server 122 transmitted in real time and receives the entire image. The images M1, M2, and M3 may be recognized and processed in various arrangement states.

이하에서는 전체 영상의 실시예에 대하여 설명한다.Hereinafter, embodiments of the entire image will be described.

도 4a, 도 4b, 도 4c는 전체 영상을 구성하는 실시예들을 설명하기 위한 도면이다.4A, 4B, and 4C are diagrams for describing embodiments of constructing an entire image.

도 4a에 도시된 첫 번째 실시예는 전체 영상(M1)의 상단 1/4 영역에 플레이백 서버(130a)(130b)(130c)(130d)로부터 디코딩되는 72개의 영상 각각을 배치한다. 예를 들어 디스플레이 서버(121)가 2560 X 1440 크기로 전체 영상(M1)을 나타내는 경우 72개 기본영상(1 - 72) 각각은 120 X 90 화면크기로 나타내어질 수 있다. 이 72개의 영상(이하에서는 "기본영상"이라고 한다)은 디스플레이 장치(121)에서 멀티뷰(multi-view)의 기본영상으로 제공할 때 사용될 수 있다. 그리고 전체 영상(M1, M2, M3)의 하단 3/4 영역에 전체 72개 영상 중 12개의 영상(1 ... 12)을 기본영상보다 고해상도를 가지는 화면크기로 배치할 수 있다.The first embodiment shown in FIG. 4A places each of the 72 images decoded from the playback servers 130a, 130b, 130c, and 130d in the upper quarter region of the entire image M1. For example, when the display server 121 displays the entire image M1 at a size of 2560 × 1440, each of the 72 basic images 1 to 72 may be represented as a 120 × 90 screen size. The 72 images (hereinafter referred to as "base images") may be used when the display apparatus 121 provides a multi-view base image. In the lower 3/4 region of the entire images M1, M2, and M3, 12 images (1 ... 12) of all 72 images may be arranged in a screen size having a higher resolution than the basic image.

예를 들어 전체 영상(M1) 중 1 - 12번까지의 화면을 고해상도로 구성하는 경우 2560 X 1440 화면 크기로 전체 영상(M1)을 구성하는 디스플레이 서버(121)는 1 - 12번까지의 화면을 최대 해상도인 640 X 480 해상도로 구성할 수 있다.For example, when the screens 1 to 12 of the entire image M1 are configured in high resolution, the display server 121 constituting the entire image M1 with a 2560 X 1440 screen size displays the screens 1 to 12. The maximum resolution is 640 X 480.

도 4b에 도시된 두 번째 실시예는 전체 영상(M2)의 상측 1/4 영역에 영상 머지 서버(122)로부터 재구성되어 전송되는 72개의 영상을 저해상도로 배치한다. 이 72개의 저해상도 화면은 디스플레이 장치(121)에서 멀티뷰(multi-view)의 기본영상으로 제공될 수 있다. 그리고 전체 영상(M2)의 하단 3/4 영역에 24개의 영상을 기본영상보다 높은 해상도를 가지는 화면으로 배치할 수 있는데, 이 경우 24개의 영상들은 320 × 240 해상도일 수 있다.In the second exemplary embodiment shown in FIG. 4B, 72 images reconstructed and transmitted from the image merge server 122 are arranged in a low resolution in the upper quarter region of the entire image M2. The 72 low resolution screens may be provided as basic images of a multi-view in the display apparatus 121. In addition, 24 images may be arranged as a screen having a higher resolution than the base image in the lower 3/4 region of the entire image M2. In this case, the 24 images may be 320 × 240 resolution.

도 4c에 도시된 세 번째 실시예는 전체 영상(M3)의 좌측 1/2 영역에 영상 머지 서버(122)로부터 받은 재구성 영상을 이용하여 72개의 영상 각각을 저해상도로 배치한다. 그리고 우측의 1/2 영역에 전체 72개 영상중 9개의 영상을 보다 높은 해 상도를 가지는 영상으로 배치할 수 있다.In the third embodiment of FIG. 4C, each of the 72 images is disposed at a low resolution by using the reconstructed image received from the image merge server 122 in the left half region of the entire image M3. In the 1/2 region on the right side, 9 images of the 72 images may be arranged as images having a higher resolution.

즉, 이와 같이 디스플레이 서버(121)는 영상 머지 서버(122)가 재구성하여 전송하는 재구성 영상을 전체 영상(M1, M2, M3)의 일부 영역에 저해상도로 모두 배치하고, 이와 함께 일부 미리 설정되거나, 소정 출력 조건으로 설정된 영상을 다양한 해상도와 배치방법으로 구성할 수 있다. 그리고 영상 머지 서버(122)에서 재구성하는 이 전체 영상(M1, M2, M3)에 포함되는 각각의 영상은 카메라(160)가 촬영한 최대 해상도가 될 수 있다. 따라서 영상 머지 서버(122)는 해당 영상의 최종 출력시 고품질의 영상이 제공될 수 있도록 한다. That is, the display server 121 arranges all of the reconstructed images transmitted by the image merge server 122 in reconstruction in a partial region of the entire images M1, M2, and M3 in low resolution, and are partially set in advance. Images set under a predetermined output condition may be configured in various resolutions and arrangement methods. Each image included in the entire images M1, M2, and M3 reconstructed by the image merge server 122 may be the maximum resolution photographed by the camera 160. Accordingly, the image merge server 122 may provide a high quality image at the final output of the image.

이하에서는 최종 출력 영상을 구성하는 방법에 대한 구체적인 실시예를 설명한다. Hereinafter, a specific embodiment of the method of configuring the final output image will be described.

디스플레이 서버(121)는 사용자에 의하여 별도로 출력 조건이 입력되지 않을 때 디폴트(default) 영상을 디스플레이 장치(110)로 제공한다. 그리고 사용자가 소정 출력 조건, 즉 특정 카메라(160)가 촬영한 영상에 대한 특정 해상도, 줌인, 줌아웃, 패닝 등과 같은 출력 조건을 입력하면, 디스플레이 서버(121)는 해당 출력 조건에 대한 영상이 디스플레이 서버(121)에서 구성하는 전체 영상(M1, M2, M3)에 포함되어 있는지 확인하고, 이 출력 조건의 영상이 전체 영상(M1, M2, M3)에 포함되어 있으면, 이를 선택 및 편집하여 디스플레이 장치(110)로 전송한다. The display server 121 provides a default image to the display apparatus 110 when an output condition is not input by the user. When the user inputs a predetermined output condition, that is, an output condition such as a specific resolution, zoom-in, zoom-out, panning, or the like with respect to the image captured by the specific camera 160, the display server 121 displays the image corresponding to the output condition. Check whether the image included in the entire image M1, M2, M3 constituted by 121 is included in the entire image M1, M2, M3. 110).

반면에 만약 해당 출력 조건의 영상이 디스플레이 서버(121)의 전체 영상(M1, M2, M3)에 포함되어 있지 않으면, 디스플레이 서버(121)는 영상 머지 서버(122)로부터 제공되는 재구성 영상을 이용하여 전체 영상(M1, M2, M3)을 재인식 한다. On the other hand, if the image of the output condition is not included in the entire image (M1, M2, M3) of the display server 121, the display server 121 uses the reconstructed image provided from the image merge server 122 Recognize the entire image (M1, M2, M3).

도 5a, 도 5b, 도 5c는 최종 출력 영상에 대한 실시예들을 설명하기 위한 도면이다. 5A, 5B, and 5C are diagrams for describing embodiments of the final output image.

도 5a는 디스플레이 서버(121)가 모든 플레이백 서버(130)에서 인코딩한 바인딩 영상(P)을 모두 표시한 상태를 나타낸다. 이러한 상태는 영상처리시스템의 동작이 시작될 때 표시될 수 있는 디폴트 영상일 수 있다. 이 디폴트 영상은 디스플레이 서버(121)가 전체 영상(M1)에서 이들 기본영상들(1 ... 72)을 선택하여 디스플레이 장치(110)에서 표시하는 화면 크기인 1920 X 1080으로 기본영상(1 ... 72)을 배치하여 디스플레이 장치(110)로 전송함으로써 최종 출력되는 출력 영상이 될 수 있다. FIG. 5A illustrates a state in which the display server 121 displays all the binding images P encoded by all the playback servers 130. This state may be a default image that may be displayed when the operation of the image processing system is started. The default image is 1920 X 1080, which is a screen size displayed on the display apparatus 110 by the display server 121 selecting these basic images (1 ... 72) from the entire image M1. ... 72 may be arranged and transmitted to the display device 110 to be the final output image.

반면에 사용자가 기본영상 중에서 일부 영상을 선택하여 줌아웃 또는 줌인과 같은 출력 조건을 터치스크린(Touch screen)동작, 마우스 클릭, 드래그 및 기타의 사용자 인터페이스(user interface)를 위한 방법을 이용하여 입력하면, 디스플레이 서버(121)는 선택된 화면을 이때의 출력 조건에 따라 전체 영상(M1)에서 선택, 편집한다. On the other hand, if a user selects some images from the basic images and inputs output conditions such as zoom out or zoom in using touch screen operation, mouse click, drag, and other user interface methods, The display server 121 selects and edits the selected screen from the entire image M1 according to the output condition at this time.

예를 들어 도 5b에 도시된 바와 같이 사용자가 기본영상들과 함께 기본영상들 중에서 1 번 영상을 카메라가 촬영한 고해상도로 줌인하기 위하여 사용자 인터페이스를 조작하면, 1번 영상에 대한 고유 식별자, 특정 해상도 그리고 1번 영상에 대한 컬럼(column)과 로우(row)의 어드레스 등이 결정되어 제어부(100)를 거쳐 디스플레이 서버(121)로 전달된다. For example, as shown in FIG. 5B, when the user manipulates the user interface to zoom in on the first image among the basic images with the high resolution captured by the camera together with the basic images, a unique identifier for the first image, a specific resolution A column and a row address of the first image are determined and transferred to the display server 121 through the controller 100.

그리고 디스플레이 서버(121)는 전체 영상(M1, M2, M3) 중에서 1번 영상에 대하여 사용자가 입력한 출력 조건에 부합하는 영상을 구성하고 있는지를 확인한다. 예를 들어 도 4a에서와 같이 1번 영상에 대하여 카메라(160)가 촬영한 소정 출력 조건의 해상도 및 줌인 영상을 보유하고 있는 경우라면, 디스플레이 서버(121)는 전체 영상(M1, M2, M3)에서 1번 영상을 선택하고, 선택된 영상 데이터를 출력 영상의 컬럼과 로우 위치에 맵핑하도록 영상 데이터를 편집 처리한다. 이러한 과정은 이미 영상 머지 서버(121)에서 제공하는 전체 영상(M1, M2, M3)에서 선택되어 즉시 출력되므로 고화질의 화면을 매우 빠른 프레임 레이트를 구현할 수 있다.In addition, the display server 121 checks whether an image corresponding to the output condition input by the user is configured for the first image among the entire images M1, M2, and M3. For example, as shown in FIG. 4A, when the camera 160 retains a resolution and zoom-in image of a predetermined output condition captured by the camera 160, the display server 121 may display the entire images M1, M2, and M3. Image 1 is selected from, and image data is edited to map the selected image data to columns and row positions of the output image. Since this process is already selected from the entire images M1, M2, and M3 provided by the image merge server 121 and is immediately output, a very high frame rate can be realized.

그리고 1번 영상의 소정 출력 조건의 영상과 함께 다른 기본영상들을 디폴트 조건으로 함께 선택하여 출력 영상으로 디스플레이 장치(110)에 제공할 수 있다. 이에 따라 디스플레이 장치(110)에서 출력하는 출력 영상(D2)에는 1번 확대 영상과 디스플레이 장치(110)에서 표시 가능한 나머지 화면 영역 이내에 다른 기본영상들이 함께 표시된다.In addition, other basic images together with the image of the predetermined output condition of the first image may be selected as the default condition and provided to the display apparatus 110 as the output image. Accordingly, the output image D2 output from the display apparatus 110 is displayed with the first magnified image and other basic images within the remaining screen area that can be displayed by the display apparatus 110.

그리고 또 다른 실시예로 도 5c에 도시된 바와 같이 1 - 16번까지의 영상을 고해상도로 확대하도록 사용자가 사용자 인터페이스를 통하여 해당 출력 조건을 입력할 수 있다. 이 경우에는 도 4a에 도시된 바와 같은 전체 영상(M1)에서는 13 - 16번까지에 대한 확대 영상을 구성하고 있지 않다. In another embodiment, as illustrated in FIG. 5C, a user may input a corresponding output condition through a user interface to enlarge images 1 to 16 at high resolution. In this case, the entire image M1 as shown in FIG. 4A does not constitute an enlarged image for numbers 13-16.

반면에 도 4b에 도시된 실시예의 디스플레이 서버(121)의 전체 영상(M2)에서는 1 - 16번 화면까지의 확대 영상을 포함하고 있다. 따라서 만약 디스플레이 서버(121)의 전체 영상(M1)이 도 4a와 같이 구성되어 있는 경우에는 영상 머지 서 버(122)로부터 받은 재구성 영상을 도 4b에 도시된 상태로 전체 영상(M2)으로 구성하고, 이중에서 1 - 16번 화면만을 선택한 후 이를 디스플레이 장치(110)로 제공하도록 함으로써 1 - 16번 화면에 대한 줌인 영상으로 최종 출력 영상(D3)을 제공할 수 있게 된다. 이러한 경우에도 이미 영상 머지 서버(121)는 플레이백 서버(130)으로 부터 재생되는 영상을 실시간으로 받고 있기 때문에 전체 영상(M1, M2, M3)의 재구성이 빠른 시간 안에 이루어지므로, 디스플레이 서버(121)에서 영상을 선택하여 디스플레이 장치(110)로 고화질의 화면을 매우 빠른 프레임 레이트로 전송할 수 있다.On the other hand, the entire image M2 of the display server 121 of the embodiment illustrated in FIG. 4B includes an enlarged image up to screens 1-16. Therefore, if the entire image M1 of the display server 121 is configured as shown in FIG. 4A, the reconstructed image received from the image merge server 122 is composed of the entire image M2 in the state shown in FIG. 4B. In this case, only the screens 1-16 are selected and then provided to the display device 110 to provide the final output image D3 as the zoom-in image for the screens 1-16. Even in such a case, since the image merge server 121 receives the image played back from the playback server 130 in real time, since the reconstruction of the entire image M1, M2, M3 is performed in a short time, the display server 121 Select an image and transmit a high quality screen to the display device 110 at a very fast frame rate.

이와 같이 다수의 영상에 대한 다양한 크기의 줌인, 줌아웃이 요구되는 경우 디스플레이 서버(121)는 요구하는 영상 내용에 따라 현재 구성하고 있는 영상과 일치하는 영상이 요청되는 경우에는 해당 영상을 즉시 선택 편집하여 디스플레이 장치(110)로 전송하도록 하고, 해당 영상으로 현재의 화면을 구성하고 있지 않은 경우에도 영상 머지 서버(122)로부터 재구성되어 전송되는 전체 영상(M1, M2, M3)을 신속하게 인식하여 이 전체 영상(M1, M2, M3)에서 요구되는 영상을 빠른 시간안에 선택 편집하여 디스플레이 장치(110)로 전송하도록 함으로써 신속하게 사용자가 요구하는 다양한 영상을 디스플레이 장치(110)에 표시하도록 할 수 있다. In this way, when zoom-in and zoom-out of various sizes are required for a plurality of images, the display server 121 immediately selects and edits a corresponding image when an image matching the currently configured image is requested according to the requested image content. Even if the current screen is not configured as the corresponding image, the entire image (M1, M2, M3) reconstructed from the image merge server 122 is quickly recognized and transmitted to the display apparatus 110. By selecting and editing the images required in the images M1, M2, and M3 in a short time, the images may be quickly displayed on the display apparatus 110.

한편, 전술한 실시예를 이용하여 영상처리시스템을 보다 광대역으로 확장하여 실시할 수 있다. 도 6은 본 발명의 다른 실시예에 따른 영상처리시스템을 도시한 도면이다. In the meantime, the image processing system can be extended and implemented by using the above-described embodiment. 6 is a diagram illustrating an image processing system according to another exemplary embodiment of the present invention.

도 6에 도시된 바와 같이 보다 넓은 지역의 보다 많은 카메라(160)에서 촬영 하는 영상을 처리할 수 있도록 하기 위하여 플레이백 서버와 영상 머지 서버를 포함하는 복수개의 단일 영상 머지 시스템(300)(400)을 구성시키고, 이 단일 영상 머지 시스템(300)(400)들을 하나의 멀티플 머지 서버(200)에 연결시킨 후 디스플레이 서버(121)와 디스플레이 장치(110)로 영상을 표시하도록 할 수 있으며, 이러한 실시예는 보다 넓은 지역에 대하여 보다 많은 화면의 신속한 처리가 가능해지도록 한다. As shown in FIG. 6, a plurality of single image merge systems 300 and 400 including a playback server and an image merge server in order to process images captured by more cameras 160 in a larger area. And the single image merge system 300 and 400 to be connected to one multiple merge server 200 to display an image on the display server 121 and the display device 110. The example allows for faster processing of more screens over a wider area.

이상과 같은 본 실시예에 따른 영상처리시스템과 영상처리방법은 영상 처리를 위하여 플레이백 서버와 영상 머지 서버 그리고 디스플레이 서버들 간에 영상정보를 전송시 압축된 영상 형태를 데이터 네트워크를 통하여 전송하지 않고, 다수의 영상을 묶어서 재생하는 플레이백 서버에서 전송되는 영상에서 필요한 영상을 캡처하여 디스플레이 하도록 한다. 따라서 본 실시예에서의 서버 사이의 영상정보 전달 방식은 영상정보 전송을 위하여 압축/복원하는 오버헤드(overhead)과정을 없앨 수 있기 때문에 실시간으로 영상의 처리가 가능하고, 또한 이더넷(ethernet)과 같이 여러 서버가 공유하는 데이터 전송망이 아닌, 서버들 간의 전용선을 통하여 데이터 전송을 수행하므로 훨씬 더 많은 양의 영상정보를 고속으로 전송할 수 있도록 함으로써 고화질 상태가 유지되어 줌인, 줌아웃 또는 패닝되는 영상을 실시간으로 디스플레이할 수 있도록 하도록 한다. The image processing system and the image processing method according to the present embodiment as described above do not transmit the compressed image form through the data network when transmitting image information between the playback server, the image merge server, and the display servers for image processing. Capture and display the necessary video from the video transmitted from the playback server that bundles and plays multiple videos. Therefore, the image information transfer method between servers in the present embodiment can eliminate the overhead process of compressing / restoring the image information for transmission, and thus can process the image in real time. Since data is transmitted through a dedicated line between servers, rather than a data transmission network shared by multiple servers, a much larger amount of video information can be transmitted at high speed so that a high quality state is maintained and a zoom-in, zoom-out or panning image is real-time. Allow display.

도 1은 본 발명의 실시예에 따른 영상처리시스템을 도시한 도면이다.1 is a diagram illustrating an image processing system according to an exemplary embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 영상처리방법을 설명하기 위한 도면이다.2 is a diagram for describing an image processing method according to an exemplary embodiment of the present invention.

도 3은 플레이백 서버가 바인딩 영상을 구성하는 실시예를 설명하기 위한 도면이다.3 is a diagram for describing an embodiment in which a playback server configures a binding image.

도 6은 본 발명의 다른 실시예에 따른 영상처리시스템을 도시한 도면이다.6 is a diagram illustrating an image processing system according to another exemplary embodiment of the present invention.

Claims

A camera for compressing and providing a captured image;

An image preparation unit having a playback server decoding a video compressed stream transmitted from the camera and an image processing unit processing an image decoded by the playback server;

It is provided with a display device for displaying an image prepared and provided by the image preparation unit,

The image processing unit comprises a video merge server for reconstructing a plurality of binding images provided by the playback server;

And a display server configured to reconstruct and transmit the binding image transmitted from the image merge server to the entire image, and to configure the entire image according to a predetermined output condition and to deliver a final output image to the display apparatus. Processing system.

The image processing system of claim 1, wherein the playback server bundles and plays back a plurality of images captured by the plurality of cameras.

The image processing system of claim 1, wherein the plurality of cameras is provided, the plurality of cameras are connected to at least one hub, and the hub and the playback server are switched by a switching hub.

The image processing system of claim 1, wherein the image merge server is provided in plurality, and a multiple merge server is provided between the display server and the image merge server to process images of the respective image merge servers. .

The display server of claim 1, wherein the display server transmits the predetermined output condition requested by the user to the image merge server, and the image merge server performs the predetermined output on the binding image reproduced by the playback server according to the predetermined output condition. And reconstructs an image of an output condition and transfers the image to the display server.

Compressing and providing an image from a camera;

A decoding step of decoding the compressed image;

Preparing a whole image by reconstructing the decoded image to a predetermined output condition;

An output step of outputting an image of the predetermined output condition as a final output image in the entire image;

In the preparation step, if the image corresponding to the predetermined output condition exists in the entire image, the image of the predetermined output condition is transferred from the entire image, and if the image of the predetermined output condition is not present in the entire image, the decoding step is already decoded. And reconstructing the entire image including the image corresponding to the predetermined output condition among the extracted images, and selecting and transferring the image having the predetermined output condition from the reconstructed entire image.

The image processing method according to claim 6, wherein the decoding comprises decoding the plurality of images photographed by the plurality of cameras and then bundles and reproduces the plurality of images.

The method of claim 6, wherein the predetermined output condition is a zoom out or panning state of an image captured by a selected camera among a plurality of cameras selected by a user, or a zoom of an image captured by the selected camera. Image processing method.

Compress and transmit the images captured by a plurality of cameras, decode the compressed and transmitted images from the plurality of cameras, and continuously reproduce the images together into a plurality of images during the final output. The entire image is composed of a predetermined output condition having a range less than or equal to the maximum resolution to be photographed, and an image corresponding to the predetermined output condition is selected and output from the entire image. Image processing method characterized in that for selecting and outputting the image.

Compress and transmit the images captured by a plurality of cameras, decode the compressed and transmitted images from the plurality of cameras, and continuously reproduce the images together into a plurality of images during the final output. The whole image is composed of a predetermined output condition having a range below the maximum resolution to be photographed, and an image corresponding to the predetermined output condition is selected and output from the entire image, wherein the predetermined output condition is changed and the output is changed to the entire image. And if the image of the condition is not included, reconstructing the entire image from the reproduced image, and selecting and outputting an image corresponding to the changed output condition from the reconstructed image.

In the transmission method of the video signal between the transmission server and the receiving server for real-time image processing,

The transmission server reproduces and outputs a plurality of input images as decoded images using a graphics card,

The receiving server acquires the decoded images output from the transmitting server using a capture card,

The transmission server transmits a signal of the decoded images to the receiving server using a dedicated line,

The transmission server is a playback server, the reception server is a video merge server, and the video merge server is configured to receive the decoded images input from the plurality of transmission servers according to a request signal input from outside of the video merge server. And converting the image signal into a combination form in an arbitrary form and outputting the image signal to the display server.

The method of claim 11, wherein the plurality of images input to the transmission server is a set of each of the encoded image obtained by photographing each of a plurality of cameras,

And the receiving server receives signals of decoded images from a plurality of transmission servers.

The image merge server of claim 11, wherein the image merge server reproduces and outputs a video signal combined in any form as decoded images, and the display server uses a capture card to output the decoded images output from the image merge server. Server-to-server image processing method characterized in that the acquisition.

delete