본문 바로가기

전체 글

(39)
이산형 확률분포 핵심 1. 베르누이 분포(Bernoulli Distribution) 오직 두 가지의 결과만을 갖는 시행을 베르누이 시행이라고 한다. 베르누이 시행에서 각각의 결과에 대한 확률변수 $X$를 $1$과 $0$으로 대치한다. ex. 어떠한 일이 성공하면 $X=1$이고 실패하면 $X=0$, 동전을 던졌을 때 앞면일 경우 $X=1$이고 뒷면일 경우 $X=1$ .... 이때, $X$를 베르누이 확률변수라 하고, $X$의 분포를 베르누이 분포라고 한다. $P(X=1)=p$라고 하면 베르누이 분포의 확률밀도함수는 다음과 같다. $P(X=x)= \begin{cases} p, & \mbox{if }x\mbox{ is 1} \\ 1-p, & \mbox{if }x\mbox{ is 0} \end{cases}$ 기댓값과 분산은 다음과 .. 2023. 1. 27. 21:55
무엇이 낙엽을 무르익게 하는가 오늘 내 인생의 마지막 예비군 훈련을 다녀왔다. 사실 마지막 예비군에 대한 소회로도 글을 한 바닥을 써 내려갈 수 있을 지경이지만, 오늘은 나를 휘감은 이 흐릿한 우울감에 대한 일기를 써볼까 한다. 최근 우울한 일이 있었다. 학업적으로 우울한 일이거나 경제적으로 우울한 일이라면야 워낙 달관한 지경에 이르렀기에 그다지 타격이 없겠지만, 공교롭게도 요즘의 우울함은 사람 때문에 피어난 우울감이다. 내가 사람 때문에 우울하다니! 정말이지 내 입장에서는 놀라운 일이다. 그도 그럴 것이 근 몇 년간 나는 가족 이외 다른 사람의 그림자도 밟지 못할 정도로 고립된 채 지내왔기 때문이다. 그래도 오히려 그런 사람 때문에 상처 입거나 괴로워할 일이 없었으니 감사하다고 해야 할까... 여하튼 나의 빈약한 사회적 관계에 대한.. 2022. 11. 1. 16:41
별과 기억 어두컴컴한 새벽, 기숙사를 떠나 제1학생회관 뒷길을 빠져나오면 붕어방 위로 확 트이는 하늘과 마주하게 된다. 평소에도 영롱하다 생각했던 별들이 오늘따라 더욱 눈이 부셔 나도 모르게 "와.."하고 조그만 탄성을 내질렀다. 추석 보름을 지나 기울어 가는 달을 채 아쉬워하기도 전에 불암산 밑자락이 별빛에 젖는다. 점심 무렵 홀린 듯 내린 소나기가 하늘을 닦아둔 덕분인지, 대동제 마지막 밤의 열기가 별들을 적셔놓은 모양인지... 무슨 이유에서 저리도 총총하게 빛나는 것인지 모르겠지만 한동안 선명한 오리온 자리에 눈을 빼앗겼다. 그리고 하늘에서 가장 밝은 별을 찾아내곤 아마도 목성이겠거니 짐작하던 와중 멀리서 다른 학우가 걸어오는 것이 보여, 마치 보면 안 되는 것을 엿보던 것 마냥 머슥하게 도서관으로 발을 옮겼.. 2022. 9. 24. 05:57
인공지능 관련학과에 오려는 학생들을 위한 글 ※ 이 글은 22년 여름방학 즈음에 쓰인 글입니다. 지금은 학과의 상황이 다소 달라졌습니다. 저 역시 몇 학기를 더 보내며 학과에 대한 감상 및 소회가 무던히도 변하였음을 느낍니다. 아무래도 새로운 학문을 다루는 새로운 학과라서 그런지 학기를 거듭할수록, 한 편으로는 살아남기 위해, 또 다른 한 편으로는 더 나은 학과가 되기 위해 끊임없이 변화를 모색하는 것 같습니다. 그러한 연후로, 이하의 글은 많은 수정이 필요해 보이나 일단은 남겨둡니다. 그저 22년 여름까지는 이런 모습이었구나... 정도로 받아들여 주시기를 바랍니다. 들어가는 글 최근 들어 인공지능 관련 학과가 여러 대학에서 우후죽순처럼 신설되고 있습니다. 대략 21학년도부터 중앙대, 시립대, 인하대, 숭실대, 연세대 등등 대학마다 많게는 60명에.. 2022. 9. 7. 17:48
MLP 모델의 Weight Initialization에 대한 이해 ※ 이 글은 사이토 고키 저, 『밑바닥부터 시작하는 딥러닝』의 6.2 단원을 더 깊이 해설한 글입니다. Weight Initialization은 몹시 중요하다. 인공지능 모델을 학습시키기 위해서는 패러미터, 특히 가중치(weight)들의 초깃값을 설정해 주어야 한다. 초깃값 설정의 중요성이야 굳이 길게 언급할 필요가 없을 것이다. 애초에 초깃값을 설정해 주지 않고 모델을 학습시키는 것은 불가능할뿐더러, 패러미터의 초깃값을 어떻게 설정하느냐에 따라 모델의 학습은 천차만별로 달라질 수 있다. 비유적으로 표현하자면 공수부대가 깊은 산속에 낙하하여 목적지를 찾아갈 때, 어느 지점에 착륙할 것인가를 결정하는 것과 같다. 다음 그림에서, 아주 약간만 초깃값이 달라져도 전혀 다른 좌표로 최적화되는 사례를 확인할 수 .. 2022. 7. 5. 03:47
[방학의 PS] 그리디 알고리즘 - BOJ_1931, BOJ_1541 그리디 알고리즘의 정의 그리디 알고리즘이란 어떤 문제를 해결해야 할 때, 그 문제를 반복되는 여러 단계로 나눈 뒤에, 각 단계의 문제에 대한 최적해를 구하는 것을 반복하는 알고리즘입니다. 그리디 알고리즘의 예 간단한 예를 통해 말씀드리면, 거스름돈 구하기 문제를 셍각해 볼 수 있습니다. 만일 여러분이 편의점 알바생이고, 손님에게 X원의 현금을 거슬러주어야 할 때, 누구나 자연스럽게 가장 큰 단위의 화폐부터 거슬러주게 됩니다. 예를 들어 6670원을 거슬러준다면, 5000원짜리 한 장, 1000원 짜리 한 장, 500원 한 개, 100원 한 개, 50원 한 개, 10원 2개 순서로 거슬러 드릴 것입니다. 즉 X원을 거슬러 드리는 문제를 5000원을 거슬러 드리는 문제, 1000원을 거슬러 드리는 문제..... 2022. 7. 2. 04:21
Output units - Sigmoid Unit & Softmax Unit ※ Ian Goodfellow의 Deep Learning, Chapter 6의 일부를 정리한 내용입니다. ※ Logistic 함수는 sigmoid 함수의 한 종류이지만 이하의 서술에서 혼용되어 사용될 수 있습니다. 1. Output Units output units이란 다층 신경망에서 output layer를 구성하는 unit을 말한다. 2. Bernoulli 분포에 대한 Sigmoid Units $0$ 또는 $1$을 갖는 이진 변수 $y$가 있다고 하자. 다층 신경망 구조에서 $\boldsymbol {x}$가 입력으로 주어졌을 때, 이를 구분하여 $y={0, 1}$을 출력하도록 모델을 설계하는 것은 Bernoulli 분포 하에서 전형적인 classification 문제이다. 본 절은 이때 사용되는 ou.. 2022. 6. 22. 04:51
[방학의 PS] 다이나믹 프로그래밍 2 - BOJ_1003 https://www.acmicpc.net/problem/1003 1003번: 피보나치 함수 각 테스트 케이스마다 0이 출력되는 횟수와 1이 출력되는 횟수를 공백으로 구분해서 출력한다. www.acmicpc.net 피보나치 함수가 문제로 나왔습니다. 저는 아무 생각 없이 문제를 풀다가 시간 초과 크리가 뜨고 말았습니다😭. 아무래도 피보나치 함수를 냅다 문제로 냈을 리는 없을 텐데 말입니다. 제가 너무 순진하게 생각했죠ㅎㅎ. 다시 시간 제한을 보니 주어진 시간이 고작 0.25초 밖에 되질 않습니다. 보통 1-2초로 주어진다는 것을 생각하면 매우 짧은 시간이죠. 어떤 방식으로 풀어야 할 것 같으신가요? 피보나치 함수에 시간을 단축한다면? 네, 맞습니다. 다이내믹 프로그래밍을 응용한 문제입니다. 우리는 다이나.. 2022. 6. 16. 04:33