l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   :   g g m l _ c u d a _ i n i t :   f o u n d   1   C U D A   
 
 d e v i c e s   ( T o t a l   V R A M :   1 2 2 8 7   M i B ) : 
 
 X  : 1   8: 8 9 
 
 +   . . .   E V I C E S = " 0 " ;   l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   - - m o d e l   " m o d e 
 
 l s \ Q 4 _ K _ M \ Q w e   . . . 
 
 +                                   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o                     :   N o t S p e c i f i e d :   ( g g m l _ c u d a _ i n i t : .   
 
       . . A M :   1 2 2 8 7   M i B ) : : S t r i n g )   [ ] ,   R e m o t e E x c e p t i o n 
 
         +   F u l l y Q u a l i f i e d E r r o r I d   :   N a t i v e C o m m a n d E r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ 
 
 D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - r p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c p u - h a s w e l l . d l l 
 
 s y s t e m   i n f o :   n _ t h r e a d s   =   6 ,   n _ t h r e a d s _ b a t c h   =   6 ,   t o t a l _ t h r e a d s 
 
   =   1 6 
 
 
 
 s y s t e m _ i n f o :   n _ t h r e a d s   =   6   ( n _ t h r e a d s _ b a t c h   =   6 )   /   1 6   |   C U D A   : 
 
   A R C H S   =   5 0 0 , 6 1 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 6 0 , 8 9 0   |   U S E _ G R A P H S   =   1   |   P E E R _ M 
 
 A X _ B A T C H _ S I Z E   =   1 2 8   |   C P U   :   S S E 3   =   1   |   S S S E 3   =   1   |   A V X   =   1   |   A 
 
 V X 2   =   1   |   F 1 6 C   =   1   |   F M A   =   1   |   B M I 2   =   1   |   L L A M A F I L E   =   1   |   O P E N 
 
 M P   =   1   |   R E P A C K   =   1   |   
 
 
 
 R u n n i n g   w i t h o u t   S S L 
 
 i n i t :   u s i n g   1 5   t h r e a d s   f o r   H T T P   s e r v e r 
 
 s t a r t :   b i n d i n g   p o r t   w i t h   d e f a u l t   a d d r e s s   f a m i l y 
 
 m a i n :   l o a d i n g   m o d e l 
 
 s r v         l o a d _ m o d e l :   l o a d i n g   m o d e l   ' m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 B - A 
 
 1 0 B - Q 4 _ K _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f ' 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 0   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 4 : 0 0 . 0 )   -   1 1 2 4 5   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d e r :   a d d i t i o n a l   2   G G U F s   m e t a d a t a   l o a d e d . 
 
 l l a m a _ m o d e l _ l o a d e r :   l o a d e d   m e t a   d a t a   w i t h   5 5   k e y - v a l u e   p a i r s   a 
 
 n d   8 7 9   t e n s o r s   f r o m   m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - Q 4 _ K _ M - 0 0 0 
 
 0 1 - o f - 0 0 0 0 3 . g g u f   ( v e r s i o n   G G U F   V 3   ( l a t e s t ) ) 
 
 l l a m a _ m o d e l _ l o a d e r :   D u m p i n g   m e t a d a t a   k e y s / v a l u e s .   N o t e :   K V   o v e 
 
 r r i d e s   d o   n o t   a p p l y   i n   t h i s   o u t p u t . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       0 :                                               g e n e r a l . a r 
 
 c h i t e c t u r e   s t r                             =   q w e n 3 5 m o e 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       1 :                                                               g e 
 
 n e r a l . t y p e   s t r                             =   m o d e l 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       2 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ k   i 3 2                             =   2 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       3 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ p   f 3 2                             =   0 . 9 5 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       4 :                                             g e n e r a l . s a m 
 
 p l i n g . t e m p   f 3 2                             =   0 . 6 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       5 :                                                               g e 
 
 n e r a l . n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       6 :                                                       g e n e r a 
 
 l . b a s e n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       7 :                                               g e n e r a l . q u 
 
 a n t i z e d _ b y   s t r                             =   U n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       8 :                                                   g e n e r a l . 
 
 s i z e _ l a b e l   s t r                             =   1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       9 :                                                         g e n e r 
 
 a l . l i c e n s e   s t r                             =   a p a c h e - 2 . 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 0 :                                               g e n e r a l . l i 
 
 c e n s e . l i n k   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 1 :                                                       g e n e r a 
 
 l . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / u n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 2 :                                       g e n e r a l . b a s e _ m 
 
 o d e l . c o u n t   u 3 2                             =   1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 3 :                                     g e n e r a l . b a s e _ m o 
 
 d e l . 0 . n a m e   s t r                             =   Q w e n 3 . 5   1 2 2 B   A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 4 :                     g e n e r a l . b a s e _ m o d e l . 0 . o r 
 
 g a n i z a t i o n   s t r                             =   Q w e n 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 5 :                             g e n e r a l . b a s e _ m o d e l . 
 
 0 . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 6 :                                                               g e 
 
 n e r a l . t a g s   a r r [ s t r , 2 ]               =   [ " u n s l o t h " ,   " i m a g e - t e x t - t o - t e x t " 
 
 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 7 :                                             q w e n 3 5 m o e . b 
 
 l o c k _ c o u n t   u 3 2                             =   4 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 8 :                                       q w e n 3 5 m o e . c o n t 
 
 e x t _ l e n g t h   u 3 2                             =   2 6 2 1 4 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 9 :                                   q w e n 3 5 m o e . e m b e d d 
 
 i n g _ l e n g t h   u 3 2                             =   3 0 7 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 0 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 h e a d _ c o u n t   u 3 2                             =   3 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 1 :                     q w e n 3 5 m o e . a t t e n t i o n . h e a 
 
 d _ c o u n t _ k v   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 2 :                     q w e n 3 5 m o e . r o p e . d i m e n s i o 
 
 n _ s e c t i o n s   a r r [ i 3 2 , 4 ]               =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 3 :                                       q w e n 3 5 m o e . r o p e 
 
 . f r e q _ b a s e   f 3 2                             =   1 0 0 0 0 0 0 0 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 4 :   q w e n 3 5 m o e . a t t e n t i o n . l a y e r _ n o r m _ r 
 
 m s _ e p s i l o n   f 3 2                             =   0 . 0 0 0 0 0 1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 5 :                                           q w e n 3 5 m o e . e x 
 
 p e r t _ c o u n t   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 6 :                                 q w e n 3 5 m o e . e x p e r t _ 
 
 u s e d _ c o u n t   u 3 2                             =   8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 7 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 k e y _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 8 :                       q w e n 3 5 m o e . a t t e n t i o n . v a 
 
 l u e _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 9 :               q w e n 3 5 m o e . e x p e r t _ f e e d _ f o r w 
 
 a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 0 :   q w e n 3 5 m o e . e x p e r t _ s h a r e d _ f e e d _ f o r 
 
 w a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 1 :                                     q w e n 3 5 m o e . s s m . c 
 
 o n v _ k e r n e l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 2 :                                       q w e n 3 5 m o e . s s m . 
 
 s t a t e _ s i z e   u 3 2                             =   1 2 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 3 :                                     q w e n 3 5 m o e . s s m . g 
 
 r o u p _ c o u n t   u 3 2                             =   1 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 4 :                               q w e n 3 5 m o e . s s m . t i m e 
 
 _ s t e p _ r a n k   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 5 :                                       q w e n 3 5 m o e . s s m . 
 
 i n n e r _ s i z e   u 3 2                             =   8 1 9 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 6 :                     q w e n 3 5 m o e . f u l l _ a t t e n t i o 
 
 n _ i n t e r v a l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 7 :                           q w e n 3 5 m o e . r o p e . d i m e n 
 
 s i o n _ c o u n t   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 8 :                                               t o k e n i z e r . 
 
 g g m l . m o d e l   s t r                             =   g p t 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 9 :                                                   t o k e n i z e 
 
 r . g g m l . p r e   s t r                             =   q w e n 3 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 0 :                                             t o k e n i z e r . g 
 
 g m l . t o k e n s   a r r [ s t r , 2 4 8 3 2 0 ]     =   [ " ! " ,   " \ " " ,   " # " ,   " $ " ,   " % " ,   " & " ,   
 
 " ' " ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 1 :                                     t o k e n i z e r . g g m l . 
 
 t o k e n _ t y p e   a r r [ i 3 2 , 2 4 8 3 2 0 ]     =   [ 1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 
 
 ,   1 ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 2 :                                             t o k e n i z e r . g 
 
 g m l . m e r g e s   a r r [ s t r , 2 4 7 5 8 7 ]     =   [ "   " ,   "   " ,   " i   n " ,   "   t " , . . 
 
 . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 3 :                                 t o k e n i z e r . g g m l . e o 
 
 s _ t o k e n _ i d   u 3 2                             =   2 4 8 0 4 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 4 :                         t o k e n i z e r . g g m l . p a d d i n 
 
 g _ t o k e n _ i d   u 3 2                             =   2 4 8 0 5 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 5 :                                         t o k e n i z e r . c h a 
 
 t _ t e m p l a t e   s t r                             =   { % -   s e t   i m a g e _ c o u n t   =   n a m e s p a c e ( 
 
 v a l u e . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 6 :                               g e n e r a l . q u a n t i z a t i 
 
 o n _ v e r s i o n   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 7 :                                                     g e n e r a l 
 
 . f i l e _ t y p e   u 3 2                             =   1 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 8 :                                             q u a n t i z e . i m 
 
 a t r i x . f i l e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - G G U F / i m a t r i x _ u 
 
 n s l o t . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 9 :                                       q u a n t i z e . i m a t r 
 
 i x . d a t a s e t   s t r                             =   u n s l o t h _ c a l i b r a t i o n _ Q w e n 3 . 5 - 1 2 2 B 
 
 - A 1 0 B . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 0 :                           q u a n t i z e . i m a t r i x . e n t 
 
 r i e s _ c o u n t   u 3 2                             =   6 1 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 1 :                             q u a n t i z e . i m a t r i x . c h 
 
 u n k s _ c o u n t   u 3 2                             =   7 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 2 :                                                                   
 
     s p l i t . n o   u 1 6                             =   0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 3 :                                                 s p l i t . t e n 
 
 s o r s . c o u n t   i 3 2                             =   8 7 9 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 4 :                                                                 s 
 
 p l i t . c o u n t   u 1 6                             =   3 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e     f 3 2 :     3 6 1   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 8 _ 0 :     3 7 3   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 4 _ K :       9 6   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 5 _ K :       4 8   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 6 _ K :         1   t e n s o r s 
 
 p r i n t _ i n f o :   f i l e   f o r m a t   =   G G U F   V 3   ( l a t e s t ) 
 
 p r i n t _ i n f o :   f i l e   t y p e       =   Q 4 _ K   -   M e d i u m 
 
 p r i n t _ i n f o :   f i l e   s i z e       =   7 1 . 2 7   G i B   ( 5 . 0 1   B P W )   
 
 l o a d :   0   u n u s e d   t o k e n s 
 
 l o a d :   p r i n t i n g   a l l   E O G   t o k e n s : 
 
 l o a d :       -   2 4 8 0 4 4   ( ' < | e n d o f t e x t | > ' ) 
 
 l o a d :       -   2 4 8 0 4 6   ( ' < | i m _ e n d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 3   ( ' < | f i m _ p a d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 4   ( ' < | r e p o _ n a m e | > ' ) 
 
 l o a d :       -   2 4 8 0 6 5   ( ' < | f i l e _ s e p | > ' ) 
 
 l o a d :   s p e c i a l   t o k e n s   c a c h e   s i z e   =   3 3 
 
 l o a d :   t o k e n   t o   p i e c e   c a c h e   s i z e   =   1 . 7 5 8 1   M B 
 
 p r i n t _ i n f o :   a r c h                                     =   q w e n 3 5 m o e 
 
 p r i n t _ i n f o :   v o c a b _ o n l y                         =   0 
 
 p r i n t _ i n f o :   n o _ a l l o c                             =   0 
 
 p r i n t _ i n f o :   n _ c t x _ t r a i n                       =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   n _ e m b d                                 =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ e m b d _ i n p                         =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ l a y e r                               =   4 8 
 
 p r i n t _ i n f o :   n _ h e a d                                 =   3 2 
 
 p r i n t _ i n f o :   n _ h e a d _ k v                           =   2 
 
 p r i n t _ i n f o :   n _ r o t                                   =   6 4 
 
 p r i n t _ i n f o :   n _ s w a                                   =   0 
 
 p r i n t _ i n f o :   i s _ s w a _ a n y                         =   0 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ k                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ v                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ g q a                                   =   1 6 
 
 p r i n t _ i n f o :   n _ e m b d _ k _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   n _ e m b d _ v _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   f _ n o r m _ e p s                         =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ n o r m _ r m s _ e p s                 =   1 . 0 e - 0 6 
 
 p r i n t _ i n f o :   f _ c l a m p _ k q v                       =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ m a x _ a l i b i _ b i a s             =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ l o g i t _ s c a l e                   =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ a t t n _ s c a l e                     =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   n _ f f                                     =   0 
 
 p r i n t _ i n f o :   n _ e x p e r t                             =   2 5 6 
 
 p r i n t _ i n f o :   n _ e x p e r t _ u s e d                   =   8 
 
 p r i n t _ i n f o :   n _ e x p e r t _ g r o u p s               =   0 
 
 p r i n t _ i n f o :   n _ g r o u p _ u s e d                     =   0 
 
 p r i n t _ i n f o :   c a u s a l   a t t n                       =   1 
 
 p r i n t _ i n f o :   p o o l i n g   t y p e                     =   - 1 
 
 p r i n t _ i n f o :   r o p e   t y p e                           =   4 0 
 
 p r i n t _ i n f o :   r o p e   s c a l i n g                     =   l i n e a r 
 
 p r i n t _ i n f o :   f r e q _ b a s e _ t r a i n               =   1 0 0 0 0 0 0 0 . 0 
 
 p r i n t _ i n f o :   f r e q _ s c a l e _ t r a i n             =   1 
 
 p r i n t _ i n f o :   n _ c t x _ o r i g _ y a r n               =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   r o p e _ y a r n _ l o g _ m u l           =   0 . 0 0 0 0 
 
 p r i n t _ i n f o :   r o p e _ f i n e t u n e d                 =   u n k n o w n 
 
 p r i n t _ i n f o :   m r o p e   s e c t i o n s                 =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 p r i n t _ i n f o :   s s m _ d _ c o n v                         =   4 
 
 p r i n t _ i n f o :   s s m _ d _ i n n e r                       =   8 1 9 2 
 
 p r i n t _ i n f o :   s s m _ d _ s t a t e                       =   1 2 8 
 
 p r i n t _ i n f o :   s s m _ d t _ r a n k                       =   6 4 
 
 p r i n t _ i n f o :   s s m _ n _ g r o u p                       =   1 6 
 
 p r i n t _ i n f o :   s s m _ d t _ b _ c _ r m s                 =   0 
 
 p r i n t _ i n f o :   m o d e l   t y p e                         =   1 2 2 B . A 1 0 B 
 
 p r i n t _ i n f o :   m o d e l   p a r a m s                     =   1 2 2 . 1 1   B 
 
 p r i n t _ i n f o :   g e n e r a l . n a m e                     =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 p r i n t _ i n f o :   v o c a b   t y p e                         =   B P E 
 
 p r i n t _ i n f o :   n _ v o c a b                               =   2 4 8 3 2 0 
 
 p r i n t _ i n f o :   n _ m e r g e s                             =   2 4 7 5 8 7 
 
 p r i n t _ i n f o :   B O S   t o k e n                           =   1 1   ' , ' 
 
 p r i n t _ i n f o :   E O S   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O T   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   P A D   t o k e n                           =   2 4 8 0 5 5   ' < | v i s i o n _ p a d | > ' 
 
 p r i n t _ i n f o :   L F   t o k e n                             =   1 9 8   ' ' 
 
 p r i n t _ i n f o :   F I M   P R E   t o k e n                   =   2 4 8 0 6 0   ' < | f i m _ p r e f i x | > ' 
 
 p r i n t _ i n f o :   F I M   S U F   t o k e n                   =   2 4 8 0 6 2   ' < | f i m _ s u f f i x | > ' 
 
 p r i n t _ i n f o :   F I M   M I D   t o k e n                   =   2 4 8 0 6 1   ' < | f i m _ m i d d l e | > ' 
 
 p r i n t _ i n f o :   F I M   P A D   t o k e n                   =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   F I M   R E P   t o k e n                   =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   F I M   S E P   t o k e n                   =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 4   ' < | e n d o f t e x t | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   m a x   t o k e n   l e n g t h             =   2 5 6 
 
 l o a d _ t e n s o r s :   l o a d i n g   m o d e l   t e n s o r s ,   t h i s   c a n   t a k e   a   w h i l e . . .   
 
 ( m m a p   =   t r u e ,   d i r e c t _ i o   =   f a l s e ) 
 
 l l a m a _ m o d e l _ l o a d e r :   t e n s o r   o v e r r i d e s   t o   C P U   a r e   u s e d   w i t h   m m a p 
 
   e n a b l e d   -   c o n s i d e r   u s i n g   - - n o - m m a p   f o r   b e t t e r   p e r f o r m a n c e 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   o u t p u t   l a y e r   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   4 7   r e p e a t i n g   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d e d   4 9 / 4 9   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :       C P U _ M a p p e d   m o d e l   b u f f e r   s i z e   =   4 7 0 0 0 . 1 2   M i B 
 
 l o a d _ t e n s o r s :       C P U _ M a p p e d   m o d e l   b u f f e r   s i z e   =   1 9 3 0 4 . 1 6   M i B 
 
 l o a d _ t e n s o r s :                 C U D A 0   m o d e l   b u f f e r   s i z e   =   1 0 9 5 9 . 8 8   M i B 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | e n d o f t e x t | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | i m _ e n d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i m _ p a d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | r e p o _ n a m e | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i l e _ s e p | >   l o g i t   b i a s   =   - i n f 
 
 l l a m a _ c o n t e x t :   c o n s t r u c t i n g   l l a m a _ c o n t e x t 
 
 l l a m a _ c o n t e x t :   n _ s e q _ m a x           =   1 
 
 l l a m a _ c o n t e x t :   n _ c t x                   =   3 2 7 6 8 
 
 l l a m a _ c o n t e x t :   n _ c t x _ s e q           =   3 2 7 6 8 
 
 l l a m a _ c o n t e x t :   n _ b a t c h               =   2 0 4 8 
 
 l l a m a _ c o n t e x t :   n _ u b a t c h             =   5 1 2 
 
 l l a m a _ c o n t e x t :   c a u s a l _ a t t n       =   1 
 
 l l a m a _ c o n t e x t :   f l a s h _ a t t n         =   e n a b l e d 
 
 l l a m a _ c o n t e x t :   k v _ u n i f i e d         =   f a l s e 
 
 l l a m a _ c o n t e x t :   f r e q _ b a s e           =   1 0 0 0 0 0 0 0 . 0 
 
 l l a m a _ c o n t e x t :   f r e q _ s c a l e         =   1 
 
 l l a m a _ c o n t e x t :   n _ c t x _ s e q   ( 3 2 7 6 8 )   <   n _ c t x _ t r a i n   ( 2 6 2 1 4 4 )   - -   t h e 
 
   f u l l   c a p a c i t y   o f   t h e   m o d e l   w i l l   n o t   b e   u t i l i z e d 
 
 l l a m a _ c o n t e x t :     C U D A _ H o s t     o u t p u t   b u f f e r   s i z e   =           0 . 9 5   M i B 
 
 l l a m a _ k v _ c a c h e :             C U D A 0   K V   b u f f e r   s i z e   =       2 1 6 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   s i z e   =     2 1 6 . 0 0   M i B   (   3 2 7 6 8   c e l l s ,     1 2   l a y e r s ,   
 
   1 / 1   s e q s ) ,   K   ( q 4 _ 0 ) :     1 0 8 . 0 0   M i B ,   V   ( q 4 _ 0 ) :     1 0 8 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ k   =   1 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ v   =   1 
 
 l l a m a _ m e m o r y _ r e c u r r e n t :             C U D A 0   R S   b u f f e r   s i z e   =       1 4 9 . 0 6   M 
 
 i B 
 
 l l a m a _ m e m o r y _ r e c u r r e n t :   s i z e   =     1 4 9 . 0 6   M i B   (           1   c e l l s ,     4 8   
 
 l a y e r s ,     1   s e q s ) ,   R   ( f 3 2 ) :         5 . 0 6   M i B ,   S   ( f 3 2 ) :     1 4 4 . 0 0   M i B 
 
 s c h e d _ r e s e r v e :   r e s e r v i n g   . . . 
 
 s c h e d _ r e s e r v e :   r e s o l v i n g   f u s e d   G a t e d   D e l t a   N e t   s u p p o r t : 
 
 s c h e d _ r e s e r v e :   f u s e d   G a t e d   D e l t a   N e t   ( a u t o r e g r e s s i v e )   e n a b l e d 
 
 s c h e d _ r e s e r v e :   f u s e d   G a t e d   D e l t a   N e t   ( c h u n k e d )   e n a b l e d 
 
 s c h e d _ r e s e r v e :             C U D A 0   c o m p u t e   b u f f e r   s i z e   =       6 9 0 . 3 0   M i B 
 
 s c h e d _ r e s e r v e :     C U D A _ H o s t   c o m p u t e   b u f f e r   s i z e   =         7 6 . 2 9   M i B 
 
 s c h e d _ r e s e r v e :   g r a p h   n o d e s     =   4 6 1 7 
 
 s c h e d _ r e s e r v e :   g r a p h   s p l i t s   =   1 3 4   ( w i t h   b s = 5 1 2 ) ,   9 0   ( w i t h   b s = 1 
 
 ) 
 
 s c h e d _ r e s e r v e :   r e s e r v e   t o o k   9 0 . 1 1   m s ,   s c h e d   c o p i e s   =   1 
 
 c o m m o n _ i n i t _ f r o m _ p a r a m s :   w a r m i n g   u p   t h e   m o d e l   w i t h   a n   e m p t y   r u 
 
 n   -   p l e a s e   w a i t   . . .   ( - - n o - w a r m u p   t o   d i s a b l e ) 
 
 s r v         l o a d _ m o d e l :   i n i t i a l i z i n g   s l o t s ,   n _ s l o t s   =   1 
 
 c o m m o n _ s p e c u l a t i v e _ i s _ c o m p a t :   t h e   t a r g e t   c o n t e x t   d o e s   n o t   s u p p 
 
 o r t   p a r t i a l   s e q u e n c e   r e m o v a l 
 
 s r v         l o a d _ m o d e l :   s p e c u l a t i v e   d e c o d i n g   n o t   s u p p o r t e d   b y   t h i s   
 
 c o n t e x t 
 
 s l o t       l o a d _ m o d e l :   i d     0   |   t a s k   - 1   |   n e w   s l o t ,   n _ c t x   =   3 2 7 6 8 
 
 s r v         l o a d _ m o d e l :   p r o m p t   c a c h e   i s   e n a b l e d ,   s i z e   l i m i t :   8 1 9 2   M 
 
 i B 
 
 s r v         l o a d _ m o d e l :   u s e   ` - - c a c h e - r a m   0 `   t o   d i s a b l e   t h e   p r o m p t   c 
 
 a c h e 
 
 s r v         l o a d _ m o d e l :   f o r   m o r e   i n f o   s e e   h t t p s : / / g i t h u b . c o m / g g m l - o 
 
 r g / l l a m a . c p p / p u l l / 1 6 3 9 1 
 
 s r v                     i n i t :   i n i t :   - - c l e a r - i d l e   r e q u i r e s   - - k v - u n i f i e d ,   d 
 
 i s a b l i n g 
 
 i n i t :   c h a t   t e m p l a t e ,   e x a m p l e _ f o r m a t :   ' < | i m _ s t a r t | > s y s t e m 
 
 Y o u   a r e   a   h e l p f u l   a s s i s t a n t < | i m _ e n d | > 
 
 < | i m _ s t a r t | > u s e r 
 
 H e l l o < | i m _ e n d | > 
 
 < | i m _ s t a r t | > a s s i s t a n t 
 
 H i   t h e r e < | i m _ e n d | > 
 
 < | i m _ s t a r t | > u s e r 
 
 H o w   a r e   y o u ? < | i m _ e n d | > 
 
 < | i m _ s t a r t | > a s s i s t a n t 
 
 < t h i n k > 
 
 ' 
 
 s r v                     i n i t :   i n i t :   c h a t   t e m p l a t e ,   t h i n k i n g   =   1 
 
 m a i n :   m o d e l   l o a d e d 
 
 m a i n :   s e r v e r   i s   l i s t e n i n g   o n   h t t p : / / 0 . 0 . 0 . 0 : 8 0 0 0 
 
 m a i n :   s t a r t i n g   t h e   m a i n   l o o p . . . 
 
 s r v     u p d a t e _ s l o t s :   a l l   s l o t s   a r e   i d l e 
 
 s r v     p a r a m s _ f r o m _ :   C h a t   f o r m a t :   p e g - n a t i v e 
 
 s l o t   g e t _ a v a i l a b l :   i d     0   |   t a s k   - 1   |   s e l e c t e d   s l o t   b y   L R U ,   t _ l 
 
 a s t   =   - 1 
 
 s r v     g e t _ a v a i l a b l :   u p d a t i n g   p r o m p t   c a c h e 
 
 s r v                     l o a d :     -   l o o k i n g   f o r   b e t t e r   p r o m p t ,   b a s e   f _ k e e p   = 
 
   - 1 . 0 0 0 ,   s i m   =   0 . 0 0 0 
 
 s r v                 u p d a t e :     -   c a c h e   s t a t e :   0   p r o m p t s ,   0 . 0 0 0   M i B   ( l i m i t 
 
 s :   8 1 9 2 . 0 0 0   M i B ,   3 2 7 6 8   t o k e n s ,   8 5 8 9 9 3 4 5 9 2   e s t ) 
 
 s r v     g e t _ a v a i l a b l :   p r o m p t   c a c h e   u p d a t e   t o o k   0 . 0 1   m s 
 
 s l o t   l a u n c h _ s l o t _ :   i d     0   |   t a s k   - 1   |   s a m p l e r   c h a i n :   l o g i t s   - >   
 
 ? p e n a l t i e s   - >   ? d r y   - >   ? t o p - n - s i g m a   - >   t o p - k   - >   ? t y p i c a l   - >   t o p 
 
 - p   - >   m i n - p   - >   ? x t c   - >   t e m p - e x t   - >   d i s t   
 
 s l o t   l a u n c h _ s l o t _ :   i d     0   |   t a s k   0   |   p r o c e s s i n g   t a s k ,   i s _ c h i l d   
 
 =   0 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   0   |   n e w   p r o m p t ,   n _ c t x _ s l o t   =   3 
 
 2 7 6 8 ,   n _ k e e p   =   0 ,   t a s k . n _ t o k e n s   =   1 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   0   |   n _ t o k e n s   =   0 ,   m e m o r y _ s e q _ r 
 
 m   [ 0 ,   e n d ) 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   0   |   p r o m p t   p r o c e s s i n g   p r o g r e s s 
 
 ,   n _ t o k e n s   =   1 4 ,   b a t c h . n _ t o k e n s   =   1 4 ,   p r o g r e s s   =   0 . 7 7 7 7 7 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   0   |   n _ t o k e n s   =   1 4 ,   m e m o r y _ s e q _ 
 
 r m   [ 1 4 ,   e n d ) 
 
 r e a s o n i n g - b u d g e t :   a c t i v a t e d ,   b u d g e t = 2 1 4 7 4 8 3 6 4 7   t o k e n s 
 
 s l o t   i n i t _ s a m p l e r :   i d     0   |   t a s k   0   |   i n i t   s a m p l e r ,   t o o k   0 . 0 1   m s 
 
 ,   t o k e n s :   t e x t   =   1 8 ,   t o t a l   =   1 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   0   |   p r o m p t   p r o c e s s i n g   d o n e ,   n _ 
 
 t o k e n s   =   1 8 ,   b a t c h . n _ t o k e n s   =   4 
 
 s l o t   p r i n t _ t i m i n g :   i d     0   |   t a s k   0   |   
 
 p r o m p t   e v a l   t i m e   =         2 5 0 3 . 0 6   m s   /         1 8   t o k e n s   (     1 3 9 . 0 6   m s   p 
 
 e r   t o k e n ,           7 . 1 9   t o k e n s   p e r   s e c o n d ) 
 
               e v a l   t i m e   =         6 6 7 9 . 9 1   m s   /         2 0   t o k e n s   (     3 3 4 . 0 0   m s   p 
 
 e r   t o k e n ,           2 . 9 9   t o k e n s   p e r   s e c o n d ) 
 
             t o t a l   t i m e   =         9 1 8 2 . 9 7   m s   /         3 8   t o k e n s 
 
 s l o t             r e l e a s e :   i d     0   |   t a s k   0   |   s t o p   p r o c e s s i n g :   n _ t o k e n s   
 
 =   3 7 ,   t r u n c a t e d   =   0 
 
 s r v     u p d a t e _ s l o t s :   a l l   s l o t s   a r e   i d l e 
 
 s r v     l o g _ s e r v e r _ r :   d o n e   r e q u e s t :   P O S T   / v 1 / c h a t / c o m p l e t i o n s   1 2 7 
 
 . 0 . 0 . 1   2 0 0 
 
 s r v     p a r a m s _ f r o m _ :   C h a t   f o r m a t :   p e g - n a t i v e 
 
 s l o t   g e t _ a v a i l a b l :   i d     0   |   t a s k   - 1   |   s e l e c t e d   s l o t   b y   L C P   s i m i 
 
 l a r i t y ,   s i m _ b e s t   =   1 . 0 0 0   ( >   0 . 1 0 0   t h o l d ) ,   f _ k e e p   =   0 . 4 8 6 
 
 s r v     g e t _ a v a i l a b l :   u p d a t i n g   p r o m p t   c a c h e 
 
 s r v       p r o m p t _ s a v e :     -   s a v i n g   p r o m p t   w i t h   l e n g t h   3 7 ,   t o t a l   s t a t 
 
 e   s i z e   =   1 4 9 . 3 0 8   M i B 
 
 s r v                     l o a d :     -   l o o k i n g   f o r   b e t t e r   p r o m p t ,   b a s e   f _ k e e p   = 
 
   0 . 4 8 6 ,   s i m   =   1 . 0 0 0 
 
 s r v                 u p d a t e :     -   c a c h e   s t a t e :   1   p r o m p t s ,   1 4 9 . 3 0 8   M i B   ( l i m 
 
 i t s :   8 1 9 2 . 0 0 0   M i B ,   3 2 7 6 8   t o k e n s ,   3 2 7 6 8   e s t ) 
 
 s r v                 u p d a t e :         -   p r o m p t   0 0 0 0 0 2 E E 1 E 5 0 6 0 C 0 :             3 7   t o k e n 
 
 s ,   c h e c k p o i n t s :     0 ,       1 4 9 . 3 0 8   M i B 
 
 s r v     g e t _ a v a i l a b l :   p r o m p t   c a c h e   u p d a t e   t o o k   9 1 . 5 3   m s 
 
 s l o t   l a u n c h _ s l o t _ :   i d     0   |   t a s k   - 1   |   s a m p l e r   c h a i n :   l o g i t s   - >   
 
 ? p e n a l t i e s   - >   ? d r y   - >   ? t o p - n - s i g m a   - >   t o p - k   - >   ? t y p i c a l   - >   t o p 
 
 - p   - >   m i n - p   - >   ? x t c   - >   t e m p - e x t   - >   d i s t   
 
 s l o t   l a u n c h _ s l o t _ :   i d     0   |   t a s k   2 2   |   p r o c e s s i n g   t a s k ,   i s _ c h i l d 
 
   =   0 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   n e w   p r o m p t ,   n _ c t x _ s l o t   =   
 
 3 2 7 6 8 ,   n _ k e e p   =   0 ,   t a s k . n _ t o k e n s   =   1 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   n _ p a s t   =   1 8 ,   s l o t . p r o m p t . 
 
 t o k e n s . s i z e ( )   =   3 7 ,   s e q _ i d   =   0 ,   p o s _ m i n   =   3 6 ,   n _ s w a   =   0 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   f o r c i n g   f u l l   p r o m p t   r e - p r 
 
 o c e s s i n g   d u e   t o   l a c k   o f   c a c h e   d a t a   ( l i k e l y   d u e   t o   S W A   o r   h y b r i 
 
 d / r e c u r r e n t   m e m o r y ,   s e e   h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / 
 
 p u l l / 1 3 1 9 4 # i s s u e c o m m e n t - 2 8 6 8 3 4 3 0 5 5 ) 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   n _ t o k e n s   =   0 ,   m e m o r y _ s e q _ 
 
 r m   [ 0 ,   e n d ) 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   p r o m p t   p r o c e s s i n g   p r o g r e s 
 
 s ,   n _ t o k e n s   =   1 4 ,   b a t c h . n _ t o k e n s   =   1 4 ,   p r o g r e s s   =   0 . 7 7 7 7 7 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   n _ t o k e n s   =   1 4 ,   m e m o r y _ s e q 
 
 _ r m   [ 1 4 ,   e n d ) 
 
 r e a s o n i n g - b u d g e t :   a c t i v a t e d ,   b u d g e t = 2 1 4 7 4 8 3 6 4 7   t o k e n s 
 
 s l o t   i n i t _ s a m p l e r :   i d     0   |   t a s k   2 2   |   i n i t   s a m p l e r ,   t o o k   0 . 0 1   m 
 
 s ,   t o k e n s :   t e x t   =   1 8 ,   t o t a l   =   1 8 
 
 s l o t   u p d a t e _ s l o t s :   i d     0   |   t a s k   2 2   |   p r o m p t   p r o c e s s i n g   d o n e ,   n 
 
 _ t o k e n s   =   1 8 ,   b a t c h . n _ t o k e n s   =   4 
 
 