수리수리연수리 코드얍

1. Graph-Level Features Goal: We want features that characterize the structure of an entire graph Background: Kernel Methods Kernel methods란 graph-level prediction을 위한 전통적인 ML에서 보편적으로 쓰이는 방법론이다. 이 방법론의 아이디어는 이름처럼, feature vector 대신 'kernel'을 디자인하자는 것이다. Kernel K(G, G') $\in$ $\mathbb{R}$은 두 그래프(G) 사이의 유사도를 측정한다. Kernel matrix K는 항상 positive semi-definite이며(이는 해당 matrix가 항상 양의 eigenvalue를 가짐을 의미)..

1. Link Prediction as a Task Link prediction task에는 크게 두 가지 종류가 있다. 랜덤하게 사라진 link 찾기(ex. protein-protein interaction network와 같은 static network에 적합) 시간에 따라 생겨나는 link 찾기(ex. citation network, social network, collaboration network...) 이제부터는 어떻게 주어진 pair of nodes에 대해 feature descriptor를 생성할 수 있는지를 알아보도록 하자. pair of nodes x, y에 대해서 몇 가지 score를 비교하는 것이 기본 아이디어가 된다(score의 예시로는 node x, y 간의 common neig..

1. Traditional ML Pipeline Traditional ML(Machine Learning) Pipeline이란 적절한 feature를 디자인하는 것에 대한 모든 것이라 할 수 있다. feature는 크게 structural feature, attribute feature로 나눌 수 있는데, 이 강의에서는 각각의 node과 자신과 연관 있는 attribute를 가지고 있다고 가정하고, structural feature에만 집중한다. structural feature는 더 넓은 surrounding of the network에 대해 link structure를 표현할 수 있도록 해주고, 관심 있는 node 근처의 이웃 관계를 볼 수 있게 해주며, 전체 그래프의 구조를 파악할 수 있도록 해준다..

1. Components of a Network Objects: nodes, vertices → N Interactions: links, edges → E System: network, graph → G(N, E) Graph는 일반적인 언어이다. 배우와 배우 사이의 관계, 사람과 사람 사이의 관계, 단백질과 단백질 사이의 관계를 나타내는 세 개의 모식도는 모두 우측 아래 검은색 그래프와 같은 공통된 수학적인 표현으로 나타낼 수 있다. 2. Choosing a Proper Representation 당연한 이야기지만, 적절한 graph representation을 선택하는 일은 매우 중요하다. 일례로 같은 개인을 연결하더라도 professional한 관계를 따지느냐, sexual한 관계를 따지느냐에 따라 ..

1. Different Types of Tasks 지난 글, 1-1. Why Graphs에서도 잠깐 언급한 바 있지만, 그래프에 대한 딥러닝 모델링에서 output인 prediction은 여러 수준에서 이루어질 수 있다. 개별 node level일 수도 있고, edge(pairs of nodes) level일 수도 있고, community(subgraph) level일 수도, graph 혹은 graph generation level일 수도 있다. 아래에서 각각 level에서의 task가 무엇이 있는지, 그 응용 사례에는 어떤 것이 있는지 소개하겠다. Node Classification: predict a property of a node(ex. categorize online users/items) Li..

※ Machine Learning with Graphs 카테고리의 글 시리즈는 Stanford University의 동명의 강의(CS224W) 내용을 정리한 것입니다. 혹시 오류를 발견하신다면 언제든지 댓글로 알려주시면 감사하겠습니다! 강의 영상: https://www.youtube.com/playlist?list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn Stanford CS224W: Machine Learning with Graphs This course covers important research on the structure and analysis of such large social and information networks and on models and algorith..

4. Segmentation: Instance Segmentation 지금까지의 16강에서 object detection, semantic segmentation 등의 내용을 다루었는데, computer vision의 task는 아직 끝나지 않았다. 또다른 segmentation 방법을 소개하기에 앞서 things와 stuff에 대해 정의하고 가도록 하자. object는 크게 things와 stuff로 분류될 수 있는데, things란 instances로 나뉠 수 있는 object, 예를 들면 고양이, 자동차, 사람 등을 의미하고, stuff란 instances로 나뉠 수 없는 object, 일례로 하늘, 풀, 물, 나무 등이 이에 속한다. 지금까지 본 computer vision task 중 objec..

3. Segmentation: Semantic Segmentation Segmentation에는 여러 종류가 있는데, 첫 번째로 semantic segmentation을 보겠다. 이는 이미지의 각각의 픽셀에 카테고리 label을 붙이는 것이다. Instance를 구분하는 것이 아니라 오직 픽셀에만 집중하기 때문에, 오른쪽 그림에서처럼 두 마리의 소가 붙어 있더라도 이를 소 1, 소 2로 구분하는 것이 아니라 ‘소’라는 하나의 카테고리 라벨로 통칭한다. 1) Sliding Window 강연자께서 semantic segmentation task를 해결하는 ‘멍청한’ 아이디어라고 소개한 내용인데, 바로 sliding window다. 이는 이미지의 각 픽셀에 대해 그 주변부를 포함한 작은 patch를 추출하고,..

1. Detection: R-CNN 변천사 먼저 Detection 파트부터 살펴보겠다. 사실 여기는 바로 전 강의의 후반부와 겹치는 부분인데, 지난 강의 끝나고 학생들의 질문이 폭주해서 보다 명확한 이해를 위해 강연자께서 더 자세히 설명해주신 내용이다(이 파트 내용이 너무 어려워서 이해하고 정리하는 데 애를 많이 먹었는데, 미시간대 학생들도 그렇게 느꼈다고 하니 조금 위안이 되는 것 같다…ㅎㅎ). 본격적인 시작에 앞서 그래프를 하나 보도록 하자. 이것은 시간이 흐름에 따라 Object Detection의 정확도가 어떻게 변화하는지 나타내는 그래프이다. 2013년을 기점으로 정확도가 대폭 향상하는데, 바로 이때가 ‘딥러닝’이 적용된 시점이다. 그래프가 2015년에서 멈춘 것은 성능 향상이 더 이루어지지 않..

2. Software 먼저 프레임워크의 전체적인 계도를 살펴보자. 파란색 박스 친 부분이 현 세대의 프레임워크인데, 이중 PyTorch와 TensorFlow가 딥러닝 프레임워크 계의 양대산맥이라 할 수 있고, 특히 지금은 PyTorch의 점유율이 급격하게 커지고 있는 중이다. 강의 또한 이 두 프레임워크에 초점을 맞춰 진행된다. 우리가 딥러닝 프레임워크에 기대하는 세 가지 중요한 특징은 다음과 같다. 새로운 아이디어에 대한 빠른 prototyping이 가능: 이는 프레임워크가 딥러닝 프로젝트에서 공통적으로 수행되는 작업에 필요한 여러 레이어, 기능들을 제공해서 우리가 매번 같은 코드를 새로 쓰지 않도록 해야 한다는 의미 backpropagation, computational graphs를 이용해 grad..