dbyll

2022 하계 모각코 - 최종 회고

Mon, 22 Aug 2022 10:57:04 +0000

개인별 목표

김남호

주 목표: 인턴쉽에 필요한 내용들 학습

1주차: 드론 시뮬레이터와 YOLO를 이용한 자동차 Counting 마무리
2주차: 칼만 필터에 대한 조사 및 공부
3주차: GStreamer에 대한 공부
4주차: H.264와 RTSP에 대한 조사 및 공부
5주차: Gstreamer와 OpenCV를 이용하여 RTP 통신 구현해보기
6주차: Stereo camera를 이용하여 사물의 거리를 측정하는 알고리즘에 대한 논문 읽기

김영현

주 목표: GAN, Style transfer 및 Pytorch 공부

1주차: CNN 관련 논문 검색 및 정리
2주차: GAN 논문을 통한 Metric 조사
3주차: Tensorflow를 통해 style transfer 실습 진행
4주차: GCN 논문 공부
5주차: pytorch & GAN 공부(1)
6주차: pytorch & GAN 공부(2)

박상현

주 목표: OCaml을 이용한 Python Parser 만들기

1주차: Program Analysis를 위한 기초 공부하기
2주차: SW 정적 분석 기법 중 Widening 기법에 대한 탐구
3주차: OCaml을 이용한 Python Parser 만들기 - Lexer설계
4주차: OCaml을 이용한 Python Parser 만들기 - Tokenizing
5주차: OCaml을 이용한 Python Parser 만들기 - Tokenizing 2
6주차: OCaml을 이용한 Python Parser 만들기 - Tokenizing & Testing

오홍기

주 목표: html, css 기초 다지기 및 하계 인턴 업무 공부

1주차: TCP socket 학습을 통한 이론 습득
2주차: TCP socket 학습을 통한 이론 습득
3주차: TCP server의 message tesing 환경 구축
4주차: TCP server 구현
5주차: query fine tuning을 위한 research
6주차: mysql의 query의 load test

개인별 최종 회고

김남호

모각코 기간동안 주로 인턴십에 필요한 내용들을 학습하였다. 코딩 보다는 논문 리뷰 및 지식 조사가 대부분이여서 생각보다 쉽지는 않았으나, 하나씩 배워가는 과정이 나름 재미있었다. 모각코 덕분에 마지막 방학을 알차게 보낸 것 같아 만족스럽다.

김영현

GAN과 Style transfer 위주로 공부하였다. 저번 학기 딥러닝 과목 시간에 간단하게 개념을 공부하긴 했으나 깊게 공부하려고 하니 매우 어렵게 느껴졌다. 하지만 모두 필요한 내용들이고, 특히 GAN은 졸업 프로젝트와 연관된 내용이라 포기하지 않고 열심히 공부하였다. 대부분 논문을 통한 공부이다보니, 3주차때 진행하였던 style transfer 실습이 가장 재미있었다.

박상현

OCaml을 이용한 Python Parser를 모각코 기간동안 만들었다. 아무래도 Ocaml 관련 자료가 많기 때문에 이론적인 부분에서 조금 어려움을 겪었으나, 하나씩 직접 테스팅을 해보며 포기하지 않고 제작하였다. 물론 아직 넘어야 할 산이 많이 남았으나 이후에도 충분히 할 수 있을 것 같다. 또한 몇몇 팀원들은 하계 인턴을 진행중이라 피곤할텐데도 퇴근 후에 열심히 공부하는 모습을 보며 큰 자극을 얻었다.

오홍기

목표로 하였던 html, css 기초 다지기는 거의 진행하지 못한 점이 아쉬웠다. 다만 인턴 업무와 연계하여 TCP 부분 위주로 공부하였고, 모각코를 통해 해당 부분에 대한 지식이 꽤 증가한 것 같아 뿌듯함이 느껴졌으며 매주 월요일마다 퇴근 후 3시간씩 공부한 보람이 있다고 느껴졌다.

2022 하계 모각코 - 6주차 팀 목표 및 회고

Mon, 08 Aug 2022 10:57:04 +0000

개인 목표

김남호: Stereo camera를 이용하여 사물의 거리를 측정하는 알고리즘에 대한 논문 읽기
김영현: 인프런 강의를 통해 GAN 공부를 진행하고 정리하는 것을 목표로 한다
박상현: OCaml을 이용한 Python Parser 만들기
오홍기: mysql의 query의 load test

개인 회고

김남호: 드론에 탑재할 알고리즘을 찾는 과정이라 최대한 가벼운 코드들 위주로 보았다.
김영현: 파이토치로 다 구현하지 못했던 부분을 마저 구현하도록 하고 몰랐던 부분은 이해를 다 한 후 정리를 꼭 해놓자.
박상현: 각종 Literals 들을 변수로 넣어 코드에 간결성을 더했으며, Ocaml의 Testing Framework인 Alcotest를 이용하여 내가 만든 Lexer에 대한 Testing을 진행하였다.
오홍기: linux top command의 사용법을 정리하고 mysqlslap의 option을 사용하여 load test 진행하였다.

개인 블로그 링크

김남호: https://gitnamu.github.io/mogakco/2022/08/04/post.html
김영현: https://rladudgus9108.github.io/jekyll/update/2022/08/08/Sum_Mo_Week06_Plan.html
박상현: https://hy38.github.io/posts/final-meeting/
오홍기: https://ohhondgi.github.io/blog/week6/

모임 사진

시작
마무리

2022 하계 모각코 - 6주차 개인블로그

Mon, 08 Aug 2022 10:57:04 +0000

6주차 목표

Stereo camera를 이용하여 사물의 거리를 측정하는 알고리즘에 대한 논문 읽기

회고

0. Block matching algorithms

SAD(Sum of Absolute Differences)
SSD(Sum of Squared Differences)
NCC(Normalized Cross Correlation)

1. Improved Depth Map Estimation from Stereo Images Based on Hybrid Method

https://core.ac.uk/download/pdf/30311779.pdf

Use SAD + Hybrid segmentation (Mean shift segmentation + Belief propagation)
- Mean shift segmentation: A method that moves in the most data-intensive direction around it and finally around the distribution of the entire data
  1. Find the data coming within radius r from the current location: (x1,y1), (x2,y2), …, (xn,yn)
  2. Move the current position to the coordinates of their center of gravity (mx/n, my/n).
  3. Repeat steps 1 and 2 until there is little change in position, that is, until convergence.
- Belief propagation: Method for estimating the value of another node when given a value or probability distribution for some nodes in a graphical model
It has lower disparity error compare with SAD

2. Performance Improvement of Distance Estimation based on the Stereo Camera

https://dcollection.snu.ac.kr/public_resource/pdf/000000018306_20220727055238.pdf

In optimization step, it uses Semi-Global Method.
- Local Method: Do optimization using pixels in a certain Support Window.
- Global Method: This defines the energy function and takes into account the cost of all pixels when obtaining the dissipation value of one pixel (ex. Belief Propagation, Graph-Cut)
- Semi-Global Method: A method of defining adjacent regions by considering the distance between regions and the difference in disparity between regions, and doing cooperative optimization of adjacent regions.
Result
The method proposed in the paper seems to take a very short time.

3. Real Time Dense Depth Estimation by Fusing Stereo with Sparse Depth Measurements

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8794023

Paper interpolate the sparse depth points from the range sensor and then use this information during the update step. Paper restrict this interpolation to regions near valid range measurements as points further away may not be part of the same surface
Result

2022 하계 모각코 - 5주차 팀 목표 및 회고

Thu, 04 Aug 2022 10:57:04 +0000

개인 목표

김남호: Gstreamer와 OpenCV를 이용하여 RTP 통신 구현해보기
김영현: 인프런 강의를 통해 GAN 공부를 진행하고 정리하는 것을 목표로 한다
박상현: OCaml을 이용한 Python Parser 만들기
오홍기: query fine tuning을 위한 research

개인 회고

김남호: GStraamer와 OpenCV를 이용해 RTP 통신을 구현해보았다. 간단한 통신 테스트는 되었으나 원하는대로 잘 되지않아 아쉬웠다.
김영현: 새롭게 알게된 부분은 확실하게 정리를 하고 파이토치 사용에 더 자연스러워지도록 하자.
박상현: 각종 Literals 들이 Regex로 되어있어 이것을 어떻게 lexer.mll 파일에 표현해야 할 지 고민이 많았다.
오홍기: Datadog에 대해 노션에 간단 정리하였다. 또한 mysql의 내장 함수인 mysqlslap에 대해 학습하였다.

개인 블로그 링크

김남호: https://gitnamu.github.io/mogakco/2022/08/04/post.html
김영현: https://rladudgus9108.github.io/jekyll/update/2022/08/04/Sum_Mo_Week05_Plan.html
박상현: https://hy38.github.io/posts/fifth-meeting/
오홍기: https://ohhondgi.github.io/blog/week5/

모임 사진

시작
마무리

2022 하계 모각코 - 5주차 개인블로그

Thu, 04 Aug 2022 10:57:04 +0000

5주차 목표

Gstreamer와 OpenCV를 이용하여 RTP 통신 구현해보기

회고

Code structure

Video source: webcam using OpenCV.
Encoding format: h.264 using GStreamer.
Communication method: RTP using GStreamer.

Problems

Couldn’t receive the webcam video because of the laptop failure (hardware problem).
There are still difficulties in modularizing each function.
Lack of understanding of elements

(differences between openh264enc and x264enc, nvvidconv and videoconvert, etc.).

Progress

Demo

RTP_demo.mp4
The entire pipeline was implemented without modularization
Server GStreamer pipeline:

autovideosrc ! x264enc ! rtph264pay config-interval=1 ! udpsink host=127.0.0.1 port=5000

Client GStreamer pipeline:

udpsrc port=5000 caps="application/x-rtp" ! rtph264depay ! avdec_h264 ! videoconvert ! xvimagesink

But RTP works well.

2022 하계 모각코 - 4주차 팀 목표 및 회고

Mon, 25 Jul 2022 10:57:04 +0000

개인 목표

김남호: H.264와 RTSP에 대한 조사 및 공부
김영현: GCN을 소개하는 논문을 읽고 이해를 바탕으로 ppt 작성을 목표로 한다
박상현: OCaml을 이용한 Python Parser 만들기
오홍기: TCP server 구현

개인 회고

김남호: H.264와 RTSP가 생각보다 어려워 많은 시간이 걸렸다. 회사일에 필요한 내용들이니 잘 기억하고 필요할 때 써야겠다.
김영현: 이해를 하지 못한 부분은 이해가 되도록 만들고 새롭게 궁금해진 부분에 대해서 찾아보자.
박상현: Identifier, Keywords, Operators, Delimeters 에 대한 Token들을 만들어 낼 수 있었다.
오홍기: 구현한 내용들을 Notion에 정리하였다. 꽤 오랜시간이 걸렸지만 뿌듯함이 느껴졌다.

개인 블로그 링크

김남호: https://gitnamu.github.io/mogakco/2022/07/25/post.html
김영현: https://rladudgus9108.github.io/jekyll/update/2022/07/25/Sum_Mo_Week04_Plan.html
박상현: https://hy38.github.io/posts/fourth-meeting/
오홍기: https://ohhondgi.github.io/blog/week4/

모임 사진

시작
마무리

2022 하계 모각코 - 4주차 개인블로그

Mon, 25 Jul 2022 10:57:04 +0000

4주차 목표

H.264와 RTSP에 대한 조사 및 공부

회고

RTP

RTP란?

Real Time Transport Protocol
Server → Client one-way transmission
Packet loss is possible because it is transmitted through UDP
RTP header structure

V (Version, 2 bits): Usually 2.

P (Padding bit, 1 bit): Padding bit is added at the end of the header if P is 1.

X (Extension, 1 bit): The presence of an extension header.

1 indicates that the extension header is followed

CC (CSRC count, 4 bits): The number of CSRCs.

M (Marker bit, 1 bit): ???????????

PT (Payload Type , 7 bits): The type of data contained in payload.

Client check this and decide how to play.(Video, music file, etc)

Sequence Number(16 bits): Number for guaranteeing order of packets.

Increasing by 1 each time a packet is sent.

Initial value is random

Timestamp (32 bits): The timing when the packet is played.

Put packets in a buffer of a certain size and run according to the timestamp.

Used to sync.

SSRC (SSRC ID, 32 bits): ID of the media stream source.

CSRC (CSRC IDs, 32*CC bits): Id of sources utilized in the media.

RTSP

RTSP란?

Real Time Steaming Protocol
Application layer protocol for controlling real-time data transmission.
Using port 554.
It is text-based in the Request/Response method → similar with HTTP
Both TCP and UDP are available, but typically TCP is used.
It does not transmit streaming data itself. It is used for controlling streaming media servers.
Stream Control example.
It has 11 instruction.
1. OPTION: Request a supported method from the server.
  
  (ex. Response: DESCRIBE, SETUP, PLAY, PAUSE, TEARDOWN, OPTIONS)
2. DESCRIBE: Request media information. The response comes in the form of SDP.
3. SETUP: Request a definition of media information delivery method(session number, etc)
4. PLAY: Play the media.
5. PAUSE: Pause the media.
6. RECORD: Record the media.
7. ANNOUNCE: Request real-time media description update.
8. TEARDOWN: End media session.
9. GET_PARAMETER: Request the parameter values.
10. SET_PARAMETER: Set the parameter values.
11. REDIRECT: Request the server that should move.

H.264

H.264란?

Standard of Video Compression
= AVC(Advanced Video Coding), MPEG-4 part 10

특징

Based on block unit motion compensation.
Very high data compression rate. The transmission speed is 60% faster than the MPEG-2.
- MPEG-1: Maximum resolution is 352*288
- MPEG-2: Maximum resolution is 1920*1152
- MPEG-4: It has a similar image quality with MPEG-2 but bandwidth is low.
But, encoding time is increased compared to before.

Profile & Level

Profile: It allows users to use only certain technologies depending on the area of use.

ex) Baseline: Low power, low resolution, low delay
```
    Main: High compression rate using B Picture
```
Level: It allows detailed settings for each profile.

Stream 구조

NAL (Network Abstraction Layer): NAL unit + Payloads,

Since H.264 was developed from the beginning for network transmission, it is composed of NAL for efficient transmission.
RBSP: Raw Byte Sequence Payload
SPS (Sequence Parameter Set): Contain parameter data like Profile, level, resolution, etc.
PPS (Picture Parameter Set): Similar with SPS, but contains more specific data.
Coded Slice of an IDR (or non-IDR) Pic: Image data
- I-slice: Frame that contains all of data.
- P-slice: Frame with motion prediction data referring to the previous data.
- B-slice: Frame with motion prediction data referring to the previous and next data.

H.264 vs H.265

H.264 use 1616 pixel macro block, but H.265 use 6464 pixel macro block.

→ Higher encoding efficiency.
Better intra frame prediction. H.264 allows only 9 motion direction, but H.265 allows 33 motion direction.
But, H.265 is not supported everywhere.

2022 하계 모각코 - 3주차 팀 목표 및 회고

Mon, 18 Jul 2022 10:57:04 +0000

개인 목표

김남호: GStreamer에 대한 공부
김영현: Tensorflow를 통해 style transfer 실습 진행
박상현: OCaml을 이용한 Python Parser 만들기
오홍기: TCP server의 message tesing 환경 구축

개인 회고

김남호: GStreamer에 대해 공부하고 예제 코드까지 돌려보았다. 감은 오지만 양이 너무 방대해 더 깊게 공부해야할 것 같다.
김영현: 이전에 공부한 Style transfer를 Tensorflow로 실습을 진행하였다. tensorflow documentation에 나와있는 실습을 진행하였는데 이론으로 공부했던 것을 실제로 코딩하니 생각보다 어려웠다.
박상현: Python 언어의 Parser를 만들기 이전에 Lexer를 어떻게 만들어야 할 지에 대해 고민해보았다.
오홍기: 지난 공부에 이어 추가로 학습하여 Notion에 추가하였다. 또한 swagger로 test API specification을 작성해 message testing 환경을 구축하였다.

개인 블로그 링크

김남호: https://gitnamu.github.io/mogakco/2022/07/18/post.html
김영현: https://rladudgus9108.github.io/jekyll/update/2022/07/18/Sum_Mo_Week03_Plan.html
박상현: https://hy38.github.io/posts/third-meeting/
오홍기: https://ohhondgi.github.io/blog/Week3/

모임 사진

시작
마무리

2022 하계 모각코 - 3주차 개인블로그

Mon, 18 Jul 2022 10:57:04 +0000

3주차 목표

GStreamer에 대한 공부

회고

GStreamer란?

Framework for creating streaming media applications.
Use RTSP communication.

RTSP

Real Time Streaming Protocol
This is use d for systems that stream media in real time, and is used to remotely control the media server
However, it does not transmit media streaming data directly, but uses the Real Time Protocol (RTP) to deliver data to the transport layer.
It consists of server and client, and two-way communication is possible.

GStreamer의 구조

Elements: A module that has one function.

You can create a pipeline that connects elements to perform specific tasks.
Pads: It is in charge of input and output of the element, and the element can be connected through the pad. There are src, which is an input pad, and sink, which is an output pad.

The data stream flows from src to sink (downstream).
Bins: A container of elements.

The state of the elements can be controlled at once through the bin
Communication
- Buffers: This is used to transfer data between elements in the pipeline.
  
  Always move from src to sink
- Events: This is used for data transfer between elements or for communication between elements and applications. It is two-way movable
- Messages: This is transmitted by the element of the message bus.
  
  Usually, information such as error, tag, state change, etc. is transferred from element to application.
- Queries: The queries cause the application to request information such as duration, playback position, etc. from the pipeline.
  
  Queries always respond synchronously.
  
  Both upstream and downstream are possible, but upstream is usually used.

Exercise

Server

gst-launch-1.0 nvarguscamerasrc sensor-id=0 # 0번 센서에 연결된 카메라를 인식하여 raw video 데이터 가져옴
! 'video/x-raw(memory:NVMM), widht=1920, height=1080, format=(string)NV12, framerate=30/1' 
! nvvidconv # raw video를 위에 명시한 포맷대로 변환
! omxh264enc # Raw video 데이터를 h264 포맷으로 인코딩 
! 'video/x-h264, stream-format=byte-stream'
! h264parse # h264를 parse
! rtph264pay # h264의 payload를 rtp 패킷으로 인코딩한다
! udpsink port=3000 # 3000번 포트로 송신

Client

gst-launch-1.0 udpsrc port=3000 #receive data through port 3000
! application/x-rtp, encoding-name=H264, payload=96 #payload 96 : dynamic payload
! rtph264depay # Rtp 패킷을 위 파이프 라인에 명시된 형식에 맞게 decoding한다.
! avdec_h264 # Rtp 패킷에서 디코딩 된 h264의 데이터를 디코딩 하여 video/x-raw데이터로 변환
! nvvidconv # Decoding 된 raw video데이터를 컨버팅
! nvegltransform # nveglglessink를 사용하기 위해 메모리 타입을 memory:NVMM → memory:EGLImage로 변경
! nveglglessink # 영상 데이터를 화면에 창 형태로 표시n

self.VIDEO_SOURCE = 'udpsrc port={5600}' # port 5600 udp communication
self.VIDEO_CODEC = '! application/x-rtp, payload=96 ! rtph264depay ! h264parse ! avdec_h264'
self.VIDEO_DECODE = '! decodebin ! videoconvert ! video/x-raw,format=(string)BGR ! videoconvert'
self.VIDEO_SINK_CONF = '! appsink emit-signals=true sync=false max-buffers=2 drop=true'

2022 하계 모각코 - 2주차 팀 목표 및 회고

Mon, 11 Jul 2022 10:57:04 +0000

개인 목표

김남호: 칼만 필터에 대한 조사 및 공부
김영현: GAN 논문 관련 Metric 조사
박상현: SW 정적 분석 기법 중 Widening 기법에 대한 탐구
오홍기: TCP socket programming이 가능한 spring integration library 학습 / spring boot를 활용하여 TCP socket server 기반의 환경구축

개인 회고

김남호: 이전에 프로젝트 도중 칼만필터를 활용하려 했으나 너무 어려워 포기했던적이 있다. 이번 기회를 통해 칼만필터가 어떻게 동작하는지 알 수 있어서 좋았고, 앞으로도 활용해야겠다.
김영현: 현재 졸업프로젝트에 GAN을 사용중인데, 기존에 알고 있던 GAN과 차이가 있어 조금 당황스럽기도 하였지만 깊이 있게 공부하여 큰 도움이 되었다.
박상현: Abstract iteration의 Widening에 대한 공부를 하였다. 다양한 연구주제가 어디서나 나올 수 있다는 것이 신기하였다.
오홍기: 지난번에 복습한 것을 기반으로 더 공부하였다. Messaging system에 대해 공부하였고 어려웠지만 재미있었다.

개인 블로그 링크

김남호: https://gitnamu.github.io/mogakco/2022/07/11/post.html
김영현: https://rladudgus9108.github.io/jekyll/update/2022/07/11/Sum_Mo_Week02_Plan.html
박상현: https://hy38.github.io/posts/second-meeting/
오홍기: https://ohhondgi.github.io/blog/TCP-socket-%EC%84%9C%EB%B2%84-%EC%84%B8%ED%8C%85/

모임 사진

시작
마무리