l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   :   g g m l _ c u d a _ i n i t :   f o u n d   2   C U 
 
 D A   d e v i c e s   ( T o t a l   V R A M :   2 4 5 7 5   M i B ) : 
 
 X  : 1   8: 1 
 
 +   l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   - - m o d e l   " m o d e l s \ Q 4 _ K _ M \ Q w e 
 
 n 3 . 5 - 1 2 2 B - A 1   . . . 
 
 +   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o                     :   N o t S p e c i f i e d :   ( g g m l _ c u d a _ i n i   
 
       t : . . . A M :   2 4 5 7 5   M i B ) : : S t r i n g )   [ ] ,   R e m o t e E x c e p t i o n 
 
         +   F u l l y Q u a l i f i e d E r r o r I d   :   N a t i v e C o m m a n d E r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 
 
 ,   V M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
     D e v i c e   1 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 
 
 ,   V M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k 
 
 e r \ D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e 
 
 r \ D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - r p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e 
 
 r \ D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c p u - h a s w e l l . d l l 
 
 s y s t e m   i n f o :   n _ t h r e a d s   =   6 ,   n _ t h r e a d s _ b a t c h   =   6 ,   t o t a l _ t h r e 
 
 a d s   =   1 6 
 
 
 
 s y s t e m _ i n f o :   n _ t h r e a d s   =   6   ( n _ t h r e a d s _ b a t c h   =   6 )   /   1 6   |   C U D 
 
 A   :   A R C H S   =   5 0 0 , 6 1 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 6 0 , 8 9 0   |   U S E _ G R A P H S   =   1   |   
 
 P E E R _ M A X _ B A T C H _ S I Z E   =   1 2 8   |   C P U   :   S S E 3   =   1   |   S S S E 3   =   1   |   A V 
 
 X   =   1   |   A V X 2   =   1   |   F 1 6 C   =   1   |   F M A   =   1   |   B M I 2   =   1   |   L L A M A F I L 
 
 E   =   1   |   O P E N M P   =   1   |   R E P A C K   =   1   |   
 
 
 
 R u n n i n g   w i t h o u t   S S L 
 
 i n i t :   u s i n g   1 5   t h r e a d s   f o r   H T T P   s e r v e r 
 
 s t a r t :   b i n d i n g   p o r t   w i t h   d e f a u l t   a d d r e s s   f a m i l y 
 
 m a i n :   l o a d i n g   m o d e l 
 
 s r v         l o a d _ m o d e l :   l o a d i n g   m o d e l   ' m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 
 
 B - A 1 0 B - Q 4 _ K _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f ' 
 
 c o m m o n _ i n i t _ r e s u l t :   f i t t i n g   p a r a m s   t o   d e v i c e   m e m o r y ,   f o r   b u 
 
 g s   d u r i n g   t h i s   s t e p   t r y   t o   r e p r o d u c e   t h e m   w i t h   - f i t   o f f ,   o r 
 
   p r o v i d e   - - v e r b o s e   l o g s   i f   t h e   b u g   o n l y   o c c u r s   w i t h   - f i t   o n 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   m e m o r y   u s e   w i t h   i n i t i a l   p a 
 
 r a m e t e r s   [ M i B ] : 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 0   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) : 
 
     1 2 2 8 7   t o t a l ,     3 7 9 2 9   u s e d ,   - 2 6 7 6 4   f r e e   v s .   t a r g e t   o f       1 0 2 
 
 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 1   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) : 
 
     1 2 2 8 7   t o t a l ,     3 5 7 6 0   u s e d ,   - 2 4 5 9 2   f r e e   v s .   t a r g e t   o f       1 0 2 
 
 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   t o   u s e   7 3 6 9 0   M i B   o f   d e v i c e 
 
   m e m o r y   v s .   2 2 3 3 3   M i B   o f   f r e e   d e v i c e   m e m o r y 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c a n n o t   m e e t   f r e e   m e m o r y   t a r g e t s   o n   a 
 
 l l   d e v i c e s ,   n e e d   t o   u s e   5 3 4 0 5   M i B   l e s s   i n   t o t a l 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c o n t e x t   s i z e   s e t   b y   u s e r   t o   3 2 7 6 8   - > 
 
   n o   c h a n g e 
 
 l l a m a _ p a r a m s _ f i t :   f a i l e d   t o   f i t   p a r a m s   t o   f r e e   d e v i c e   m e m o r 
 
 y :   n _ g p u _ l a y e r s   a l r e a d y   s e t   b y   u s e r   t o   9 9 9 ,   a b o r t 
 
 l l a m a _ p a r a m s _ f i t :   f i t t i n g   p a r a m s   t o   f r e e   m e m o r y   t o o k   0 . 6 2   s 
 
 e c o n d s 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 0   ( N V I D I A 
 
   G e F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 4 : 0 0 . 0 )   -   1 1 2 4 5   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 1   ( N V I D I A 
 
   G e F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 6 : 0 0 . 0 )   -   1 1 2 4 0   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d e r :   a d d i t i o n a l   2   G G U F s   m e t a d a t a   l o a d e d . 
 
 l l a m a _ m o d e l _ l o a d e r :   l o a d e d   m e t a   d a t a   w i t h   5 5   k e y - v a l u e   p a i r 
 
 s   a n d   8 7 9   t e n s o r s   f r o m   m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - Q 4 _ K 
 
 _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f   ( v e r s i o n   G G U F   V 3   ( l a t e s t ) ) 
 
 l l a m a _ m o d e l _ l o a d e r :   D u m p i n g   m e t a d a t a   k e y s / v a l u e s .   N o t e :   K V   
 
 o v e r r i d e s   d o   n o t   a p p l y   i n   t h i s   o u t p u t . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       0 :                                               g e n e r a l 
 
 . a r c h i t e c t u r e   s t r                             =   q w e n 3 5 m o e 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       1 :                                                             
 
   g e n e r a l . t y p e   s t r                             =   m o d e l 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       2 :                                           g e n e r a l . s 
 
 a m p l i n g . t o p _ k   i 3 2                             =   2 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       3 :                                           g e n e r a l . s 
 
 a m p l i n g . t o p _ p   f 3 2                             =   0 . 9 5 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       4 :                                             g e n e r a l . 
 
 s a m p l i n g . t e m p   f 3 2                             =   0 . 6 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       5 :                                                             
 
   g e n e r a l . n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       6 :                                                       g e n 
 
 e r a l . b a s e n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       7 :                                               g e n e r a l 
 
 . q u a n t i z e d _ b y   s t r                             =   U n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       8 :                                                   g e n e r 
 
 a l . s i z e _ l a b e l   s t r                             =   1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       9 :                                                         g e 
 
 n e r a l . l i c e n s e   s t r                             =   a p a c h e - 2 . 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 0 :                                               g e n e r a l 
 
 . l i c e n s e . l i n k   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e 
 
 n / Q w e n 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 1 :                                                       g e n 
 
 e r a l . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / u n s 
 
 l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 2 :                                       g e n e r a l . b a s 
 
 e _ m o d e l . c o u n t   u 3 2                             =   1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 3 :                                     g e n e r a l . b a s e 
 
 _ m o d e l . 0 . n a m e   s t r                             =   Q w e n 3 . 5   1 2 2 B   A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 4 :                     g e n e r a l . b a s e _ m o d e l . 0 
 
 . o r g a n i z a t i o n   s t r                             =   Q w e n 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 5 :                             g e n e r a l . b a s e _ m o d 
 
 e l . 0 . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e 
 
 n / Q w e n 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 6 :                                                             
 
   g e n e r a l . t a g s   a r r [ s t r , 2 ]               =   [ " u n s l o t h " ,   " i m a g e - t e x t - t o 
 
 - t e x t " ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 7 :                                             q w e n 3 5 m o 
 
 e . b l o c k _ c o u n t   u 3 2                             =   4 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 8 :                                       q w e n 3 5 m o e . c 
 
 o n t e x t _ l e n g t h   u 3 2                             =   2 6 2 1 4 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 9 :                                   q w e n 3 5 m o e . e m b 
 
 e d d i n g _ l e n g t h   u 3 2                             =   3 0 7 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 0 :                           q w e n 3 5 m o e . a t t e n t i 
 
 o n . h e a d _ c o u n t   u 3 2                             =   3 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 1 :                     q w e n 3 5 m o e . a t t e n t i o n . 
 
 h e a d _ c o u n t _ k v   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 2 :                     q w e n 3 5 m o e . r o p e . d i m e n 
 
 s i o n _ s e c t i o n s   a r r [ i 3 2 , 4 ]               =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 3 :                                       q w e n 3 5 m o e . r 
 
 o p e . f r e q _ b a s e   f 3 2                             =   1 0 0 0 0 0 0 0 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 4 :   q w e n 3 5 m o e . a t t e n t i o n . l a y e r _ n o r 
 
 m _ r m s _ e p s i l o n   f 3 2                             =   0 . 0 0 0 0 0 1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 5 :                                           q w e n 3 5 m o e 
 
 . e x p e r t _ c o u n t   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 6 :                                 q w e n 3 5 m o e . e x p e 
 
 r t _ u s e d _ c o u n t   u 3 2                             =   8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 7 :                           q w e n 3 5 m o e . a t t e n t i 
 
 o n . k e y _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 8 :                       q w e n 3 5 m o e . a t t e n t i o n 
 
 . v a l u e _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 9 :               q w e n 3 5 m o e . e x p e r t _ f e e d _ f 
 
 o r w a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 0 :   q w e n 3 5 m o e . e x p e r t _ s h a r e d _ f e e d _ 
 
 f o r w a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 1 :                                     q w e n 3 5 m o e . s s 
 
 m . c o n v _ k e r n e l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 2 :                                       q w e n 3 5 m o e . s 
 
 s m . s t a t e _ s i z e   u 3 2                             =   1 2 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 3 :                                     q w e n 3 5 m o e . s s 
 
 m . g r o u p _ c o u n t   u 3 2                             =   1 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 4 :                               q w e n 3 5 m o e . s s m . t 
 
 i m e _ s t e p _ r a n k   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 5 :                                       q w e n 3 5 m o e . s 
 
 s m . i n n e r _ s i z e   u 3 2                             =   8 1 9 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 6 :                     q w e n 3 5 m o e . f u l l _ a t t e n 
 
 t i o n _ i n t e r v a l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 7 :                           q w e n 3 5 m o e . r o p e . d i 
 
 m e n s i o n _ c o u n t   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 8 :                                               t o k e n i z 
 
 e r . g g m l . m o d e l   s t r                             =   g p t 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 9 :                                                   t o k e n 
 
 i z e r . g g m l . p r e   s t r                             =   q w e n 3 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 0 :                                             t o k e n i z e 
 
 r . g g m l . t o k e n s   a r r [ s t r , 2 4 8 3 2 0 ]     =   [ " ! " ,   " \ " " ,   " # " ,   " $ " ,   " % " , 
 
   " & " ,   " ' " ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 1 :                                     t o k e n i z e r . g g 
 
 m l . t o k e n _ t y p e   a r r [ i 3 2 , 2 4 8 3 2 0 ]     =   [ 1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 
 
 ,   1 ,   1 ,   1 ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 2 :                                             t o k e n i z e 
 
 r . g g m l . m e r g e s   a r r [ s t r , 2 4 7 5 8 7 ]     =   [ "   " ,   "   " ,   " i   n " ,   " 
 
   t " , . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 3 :                                 t o k e n i z e r . g g m l 
 
 . e o s _ t o k e n _ i d   u 3 2                             =   2 4 8 0 4 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 4 :                         t o k e n i z e r . g g m l . p a d 
 
 d i n g _ t o k e n _ i d   u 3 2                             =   2 4 8 0 5 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 5 :                                         t o k e n i z e r . 
 
 c h a t _ t e m p l a t e   s t r                             =   { % -   s e t   i m a g e _ c o u n t   =   n a m e 
 
 s p a c e ( v a l u e . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 6 :                               g e n e r a l . q u a n t i z 
 
 a t i o n _ v e r s i o n   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 7 :                                                     g e n e 
 
 r a l . f i l e _ t y p e   u 3 2                             =   1 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 8 :                                             q u a n t i z e 
 
 . i m a t r i x . f i l e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - G G U F / i m a 
 
 t r i x _ u n s l o t . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 9 :                                       q u a n t i z e . i m 
 
 a t r i x . d a t a s e t   s t r                             =   u n s l o t h _ c a l i b r a t i o n _ Q w e n 3 . 
 
 5 - 1 2 2 B - A 1 0 B . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 0 :                           q u a n t i z e . i m a t r i x . 
 
 e n t r i e s _ c o u n t   u 3 2                             =   6 1 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 1 :                             q u a n t i z e . i m a t r i x 
 
 . c h u n k s _ c o u n t   u 3 2                             =   7 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 2 :                                                             
 
           s p l i t . n o   u 1 6                             =   0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 3 :                                                 s p l i t . 
 
 t e n s o r s . c o u n t   i 3 2                             =   8 7 9 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 4 :                                                             
 
     s p l i t . c o u n t   u 1 6                             =   3 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e     f 3 2 :     3 6 1   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 8 _ 0 :     3 7 3   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 4 _ K :       9 6   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 5 _ K :       4 8   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 6 _ K :         1   t e n s o r s 
 
 p r i n t _ i n f o :   f i l e   f o r m a t   =   G G U F   V 3   ( l a t e s t ) 
 
 p r i n t _ i n f o :   f i l e   t y p e       =   Q 4 _ K   -   M e d i u m 
 
 p r i n t _ i n f o :   f i l e   s i z e       =   7 1 . 2 7   G i B   ( 5 . 0 1   B P W )   
 
 l o a d :   0   u n u s e d   t o k e n s 
 
 l o a d :   p r i n t i n g   a l l   E O G   t o k e n s : 
 
 l o a d :       -   2 4 8 0 4 4   ( ' < | e n d o f t e x t | > ' ) 
 
 l o a d :       -   2 4 8 0 4 6   ( ' < | i m _ e n d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 3   ( ' < | f i m _ p a d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 4   ( ' < | r e p o _ n a m e | > ' ) 
 
 l o a d :       -   2 4 8 0 6 5   ( ' < | f i l e _ s e p | > ' ) 
 
 l o a d :   s p e c i a l   t o k e n s   c a c h e   s i z e   =   3 3 
 
 l o a d :   t o k e n   t o   p i e c e   c a c h e   s i z e   =   1 . 7 5 8 1   M B 
 
 p r i n t _ i n f o :   a r c h                                     =   q w e n 3 5 m o e 
 
 p r i n t _ i n f o :   v o c a b _ o n l y                         =   0 
 
 p r i n t _ i n f o :   n o _ a l l o c                             =   0 
 
 p r i n t _ i n f o :   n _ c t x _ t r a i n                       =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   n _ e m b d                                 =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ e m b d _ i n p                         =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ l a y e r                               =   4 8 
 
 p r i n t _ i n f o :   n _ h e a d                                 =   3 2 
 
 p r i n t _ i n f o :   n _ h e a d _ k v                           =   2 
 
 p r i n t _ i n f o :   n _ r o t                                   =   6 4 
 
 p r i n t _ i n f o :   n _ s w a                                   =   0 
 
 p r i n t _ i n f o :   i s _ s w a _ a n y                         =   0 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ k                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ v                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ g q a                                   =   1 6 
 
 p r i n t _ i n f o :   n _ e m b d _ k _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   n _ e m b d _ v _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   f _ n o r m _ e p s                         =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ n o r m _ r m s _ e p s                 =   1 . 0 e - 0 6 
 
 p r i n t _ i n f o :   f _ c l a m p _ k q v                       =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ m a x _ a l i b i _ b i a s             =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ l o g i t _ s c a l e                   =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ a t t n _ s c a l e                     =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   n _ f f                                     =   0 
 
 p r i n t _ i n f o :   n _ e x p e r t                             =   2 5 6 
 
 p r i n t _ i n f o :   n _ e x p e r t _ u s e d                   =   8 
 
 p r i n t _ i n f o :   n _ e x p e r t _ g r o u p s               =   0 
 
 p r i n t _ i n f o :   n _ g r o u p _ u s e d                     =   0 
 
 p r i n t _ i n f o :   c a u s a l   a t t n                       =   1 
 
 p r i n t _ i n f o :   p o o l i n g   t y p e                     =   - 1 
 
 p r i n t _ i n f o :   r o p e   t y p e                           =   4 0 
 
 p r i n t _ i n f o :   r o p e   s c a l i n g                     =   l i n e a r 
 
 p r i n t _ i n f o :   f r e q _ b a s e _ t r a i n               =   1 0 0 0 0 0 0 0 . 0 
 
 p r i n t _ i n f o :   f r e q _ s c a l e _ t r a i n             =   1 
 
 p r i n t _ i n f o :   n _ c t x _ o r i g _ y a r n               =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   r o p e _ y a r n _ l o g _ m u l           =   0 . 0 0 0 0 
 
 p r i n t _ i n f o :   r o p e _ f i n e t u n e d                 =   u n k n o w n 
 
 p r i n t _ i n f o :   m r o p e   s e c t i o n s                 =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 p r i n t _ i n f o :   s s m _ d _ c o n v                         =   4 
 
 p r i n t _ i n f o :   s s m _ d _ i n n e r                       =   8 1 9 2 
 
 p r i n t _ i n f o :   s s m _ d _ s t a t e                       =   1 2 8 
 
 p r i n t _ i n f o :   s s m _ d t _ r a n k                       =   6 4 
 
 p r i n t _ i n f o :   s s m _ n _ g r o u p                       =   1 6 
 
 p r i n t _ i n f o :   s s m _ d t _ b _ c _ r m s                 =   0 
 
 p r i n t _ i n f o :   m o d e l   t y p e                         =   1 2 2 B . A 1 0 B 
 
 p r i n t _ i n f o :   m o d e l   p a r a m s                     =   1 2 2 . 1 1   B 
 
 p r i n t _ i n f o :   g e n e r a l . n a m e                     =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 p r i n t _ i n f o :   v o c a b   t y p e                         =   B P E 
 
 p r i n t _ i n f o :   n _ v o c a b                               =   2 4 8 3 2 0 
 
 p r i n t _ i n f o :   n _ m e r g e s                             =   2 4 7 5 8 7 
 
 p r i n t _ i n f o :   B O S   t o k e n                           =   1 1   ' , ' 
 
 p r i n t _ i n f o :   E O S   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O T   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   P A D   t o k e n                           =   2 4 8 0 5 5   ' < | v i s i o n _ p a d | > ' 
 
 p r i n t _ i n f o :   L F   t o k e n                             =   1 9 8   ' ' 
 
 p r i n t _ i n f o :   F I M   P R E   t o k e n                   =   2 4 8 0 6 0   ' < | f i m _ p r e f i x | > ' 
 
 p r i n t _ i n f o :   F I M   S U F   t o k e n                   =   2 4 8 0 6 2   ' < | f i m _ s u f f i x | > ' 
 
 p r i n t _ i n f o :   F I M   M I D   t o k e n                   =   2 4 8 0 6 1   ' < | f i m _ m i d d l e | > ' 
 
 p r i n t _ i n f o :   F I M   P A D   t o k e n                   =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   F I M   R E P   t o k e n                   =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   F I M   S E P   t o k e n                   =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 4   ' < | e n d o f t e x t | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   m a x   t o k e n   l e n g t h             =   2 5 6 
 
 l o a d _ t e n s o r s :   l o a d i n g   m o d e l   t e n s o r s ,   t h i s   c a n   t a k e   a   w h i l e . 
 
 . .   ( m m a p   =   f a l s e ,   d i r e c t _ i o   =   f a l s e ) 
 
 g g m l _ b a c k e n d _ c u d a _ b u f f e r _ t y p e _ a l l o c _ b u f f e r :   a l l o c a t i n g   3 7 2 9 
 
 9 . 9 8   M i B   o n   d e v i c e   0 :   c u d a M a l l o c   f a i l e d :   o u t   o f   m e m o r y 
 
 a l l o c _ t e n s o r _ r a n g e :   f a i l e d   t o   a l l o c a t e   C U D A 0   b u f f e r   o f   s i z e 
 
   3 9 1 1 1 8 6 3 2 9 6 
 
 l l a m a _ m o d e l _ l o a d :   e r r o r   l o a d i n g   m o d e l :   u n a b l e   t o   a l l o c a t e   C 
 
 U D A 0   b u f f e r 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   f a i l e d   t o   l o a d   m o d e l 
 
 c o m m o n _ i n i t _ f r o m _ p a r a m s :   f a i l e d   t o   l o a d   m o d e l   ' m o d e l s \ Q 4 _ K _ 
 
 M \ Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - Q 4 _ K _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f ' 
 
 s r v         l o a d _ m o d e l :   f a i l e d   t o   l o a d   m o d e l ,   ' m o d e l s \ Q 4 _ K _ M \ Q w e 
 
 n 3 . 5 - 1 2 2 B - A 1 0 B - Q 4 _ K _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f ' 
 
 s r v         o p e r a t o r ( ) :   o p e r a t o r ( ) :   c l e a n i n g   u p   b e f o r e   e x i t . . . 
 
 m a i n :   e x i t i n g   d u e   t o   m o d e l   l o a d i n g   e r r o r 
 
 