l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   :   g g m l _ c u d a _ i n i t :   f o u n d   1   C U D A   
 
 d e v i c e s   ( T o t a l   V R A M :   1 2 2 8 7   M i B ) : 
 
 X  : 1   8: 1 
 
 +   l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   - - m o d e l   " m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 
 
 5 - 1 2 2 B - A 1   . . . 
 
 +   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o                     :   N o t S p e c i f i e d :   ( g g m l _ c u d a _ i n i t : .   
 
       . . A M :   1 2 2 8 7   M i B ) : : S t r i n g )   [ ] ,   R e m o t e E x c e p t i o n 
 
         +   F u l l y Q u a l i f i e d E r r o r I d   :   N a t i v e C o m m a n d E r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ 
 
 D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - r p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c p u - h a s w e l l . d l l 
 
 s y s t e m   i n f o :   n _ t h r e a d s   =   6 ,   n _ t h r e a d s _ b a t c h   =   6 ,   t o t a l _ t h r e a d s 
 
   =   1 6 
 
 
 
 s y s t e m _ i n f o :   n _ t h r e a d s   =   6   ( n _ t h r e a d s _ b a t c h   =   6 )   /   1 6   |   C U D A   : 
 
   A R C H S   =   5 0 0 , 6 1 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 6 0 , 8 9 0   |   U S E _ G R A P H S   =   1   |   P E E R _ M 
 
 A X _ B A T C H _ S I Z E   =   1 2 8   |   C P U   :   S S E 3   =   1   |   S S S E 3   =   1   |   A V X   =   1   |   A 
 
 V X 2   =   1   |   F 1 6 C   =   1   |   F M A   =   1   |   B M I 2   =   1   |   L L A M A F I L E   =   1   |   O P E N 
 
 M P   =   1   |   R E P A C K   =   1   |   
 
 
 
 R u n n i n g   w i t h o u t   S S L 
 
 i n i t :   u s i n g   1 5   t h r e a d s   f o r   H T T P   s e r v e r 
 
 s t a r t :   b i n d i n g   p o r t   w i t h   d e f a u l t   a d d r e s s   f a m i l y 
 
 m a i n :   l o a d i n g   m o d e l 
 
 s r v         l o a d _ m o d e l :   l o a d i n g   m o d e l   ' m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 B - A 
 
 1 0 B - Q 4 _ K _ M - 0 0 0 0 1 - o f - 0 0 0 0 3 . g g u f ' 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 0   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 4 : 0 0 . 0 )   -   1 1 2 4 5   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d e r :   a d d i t i o n a l   2   G G U F s   m e t a d a t a   l o a d e d . 
 
 l l a m a _ m o d e l _ l o a d e r :   l o a d e d   m e t a   d a t a   w i t h   5 5   k e y - v a l u e   p a i r s   a 
 
 n d   8 7 9   t e n s o r s   f r o m   m o d e l s \ Q 4 _ K _ M \ Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - Q 4 _ K _ M - 0 0 0 
 
 0 1 - o f - 0 0 0 0 3 . g g u f   ( v e r s i o n   G G U F   V 3   ( l a t e s t ) ) 
 
 l l a m a _ m o d e l _ l o a d e r :   D u m p i n g   m e t a d a t a   k e y s / v a l u e s .   N o t e :   K V   o v e 
 
 r r i d e s   d o   n o t   a p p l y   i n   t h i s   o u t p u t . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       0 :                                               g e n e r a l . a r 
 
 c h i t e c t u r e   s t r                             =   q w e n 3 5 m o e 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       1 :                                                               g e 
 
 n e r a l . t y p e   s t r                             =   m o d e l 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       2 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ k   i 3 2                             =   2 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       3 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ p   f 3 2                             =   0 . 9 5 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       4 :                                             g e n e r a l . s a m 
 
 p l i n g . t e m p   f 3 2                             =   0 . 6 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       5 :                                                               g e 
 
 n e r a l . n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       6 :                                                       g e n e r a 
 
 l . b a s e n a m e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       7 :                                               g e n e r a l . q u 
 
 a n t i z e d _ b y   s t r                             =   U n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       8 :                                                   g e n e r a l . 
 
 s i z e _ l a b e l   s t r                             =   1 2 2 B - A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       9 :                                                         g e n e r 
 
 a l . l i c e n s e   s t r                             =   a p a c h e - 2 . 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 0 :                                               g e n e r a l . l i 
 
 c e n s e . l i n k   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 1 :                                                       g e n e r a 
 
 l . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / u n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 2 :                                       g e n e r a l . b a s e _ m 
 
 o d e l . c o u n t   u 3 2                             =   1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 3 :                                     g e n e r a l . b a s e _ m o 
 
 d e l . 0 . n a m e   s t r                             =   Q w e n 3 . 5   1 2 2 B   A 1 0 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 4 :                     g e n e r a l . b a s e _ m o d e l . 0 . o r 
 
 g a n i z a t i o n   s t r                             =   Q w e n 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 5 :                             g e n e r a l . b a s e _ m o d e l . 
 
 0 . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 1 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 6 :                                                               g e 
 
 n e r a l . t a g s   a r r [ s t r , 2 ]               =   [ " u n s l o t h " ,   " i m a g e - t e x t - t o - t e x t " 
 
 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 7 :                                             q w e n 3 5 m o e . b 
 
 l o c k _ c o u n t   u 3 2                             =   4 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 8 :                                       q w e n 3 5 m o e . c o n t 
 
 e x t _ l e n g t h   u 3 2                             =   2 6 2 1 4 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 9 :                                   q w e n 3 5 m o e . e m b e d d 
 
 i n g _ l e n g t h   u 3 2                             =   3 0 7 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 0 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 h e a d _ c o u n t   u 3 2                             =   3 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 1 :                     q w e n 3 5 m o e . a t t e n t i o n . h e a 
 
 d _ c o u n t _ k v   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 2 :                     q w e n 3 5 m o e . r o p e . d i m e n s i o 
 
 n _ s e c t i o n s   a r r [ i 3 2 , 4 ]               =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 3 :                                       q w e n 3 5 m o e . r o p e 
 
 . f r e q _ b a s e   f 3 2                             =   1 0 0 0 0 0 0 0 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 4 :   q w e n 3 5 m o e . a t t e n t i o n . l a y e r _ n o r m _ r 
 
 m s _ e p s i l o n   f 3 2                             =   0 . 0 0 0 0 0 1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 5 :                                           q w e n 3 5 m o e . e x 
 
 p e r t _ c o u n t   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 6 :                                 q w e n 3 5 m o e . e x p e r t _ 
 
 u s e d _ c o u n t   u 3 2                             =   8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 7 :                           q w e n 3 5 m o e . a t t e n t i o n . 
 
 k e y _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 8 :                       q w e n 3 5 m o e . a t t e n t i o n . v a 
 
 l u e _ l e n g t h   u 3 2                             =   2 5 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     2 9 :               q w e n 3 5 m o e . e x p e r t _ f e e d _ f o r w 
 
 a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 0 :   q w e n 3 5 m o e . e x p e r t _ s h a r e d _ f e e d _ f o r 
 
 w a r d _ l e n g t h   u 3 2                             =   1 0 2 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 1 :                                     q w e n 3 5 m o e . s s m . c 
 
 o n v _ k e r n e l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 2 :                                       q w e n 3 5 m o e . s s m . 
 
 s t a t e _ s i z e   u 3 2                             =   1 2 8 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 3 :                                     q w e n 3 5 m o e . s s m . g 
 
 r o u p _ c o u n t   u 3 2                             =   1 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 4 :                               q w e n 3 5 m o e . s s m . t i m e 
 
 _ s t e p _ r a n k   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 5 :                                       q w e n 3 5 m o e . s s m . 
 
 i n n e r _ s i z e   u 3 2                             =   8 1 9 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 6 :                     q w e n 3 5 m o e . f u l l _ a t t e n t i o 
 
 n _ i n t e r v a l   u 3 2                             =   4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 7 :                           q w e n 3 5 m o e . r o p e . d i m e n 
 
 s i o n _ c o u n t   u 3 2                             =   6 4 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 8 :                                               t o k e n i z e r . 
 
 g g m l . m o d e l   s t r                             =   g p t 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     3 9 :                                                   t o k e n i z e 
 
 r . g g m l . p r e   s t r                             =   q w e n 3 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 0 :                                             t o k e n i z e r . g 
 
 g m l . t o k e n s   a r r [ s t r , 2 4 8 3 2 0 ]     =   [ " ! " ,   " \ " " ,   " # " ,   " $ " ,   " % " ,   " & " ,   
 
 " ' " ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 1 :                                     t o k e n i z e r . g g m l . 
 
 t o k e n _ t y p e   a r r [ i 3 2 , 2 4 8 3 2 0 ]     =   [ 1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 ,   1 
 
 ,   1 ,   . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 2 :                                             t o k e n i z e r . g 
 
 g m l . m e r g e s   a r r [ s t r , 2 4 7 5 8 7 ]     =   [ "   " ,   "   " ,   " i   n " ,   "   t " , . . 
 
 . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 3 :                                 t o k e n i z e r . g g m l . e o 
 
 s _ t o k e n _ i d   u 3 2                             =   2 4 8 0 4 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 4 :                         t o k e n i z e r . g g m l . p a d d i n 
 
 g _ t o k e n _ i d   u 3 2                             =   2 4 8 0 5 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 5 :                                         t o k e n i z e r . c h a 
 
 t _ t e m p l a t e   s t r                             =   { % -   s e t   i m a g e _ c o u n t   =   n a m e s p a c e ( 
 
 v a l u e . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 6 :                               g e n e r a l . q u a n t i z a t i 
 
 o n _ v e r s i o n   u 3 2                             =   2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 7 :                                                     g e n e r a l 
 
 . f i l e _ t y p e   u 3 2                             =   1 5 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 8 :                                             q u a n t i z e . i m 
 
 a t r i x . f i l e   s t r                             =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B - G G U F / i m a t r i x _ u 
 
 n s l o t . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     4 9 :                                       q u a n t i z e . i m a t r 
 
 i x . d a t a s e t   s t r                             =   u n s l o t h _ c a l i b r a t i o n _ Q w e n 3 . 5 - 1 2 2 B 
 
 - A 1 0 B . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 0 :                           q u a n t i z e . i m a t r i x . e n t 
 
 r i e s _ c o u n t   u 3 2                             =   6 1 2 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 1 :                             q u a n t i z e . i m a t r i x . c h 
 
 u n k s _ c o u n t   u 3 2                             =   7 6 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 2 :                                                                   
 
     s p l i t . n o   u 1 6                             =   0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 3 :                                                 s p l i t . t e n 
 
 s o r s . c o u n t   i 3 2                             =   8 7 9 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     5 4 :                                                                 s 
 
 p l i t . c o u n t   u 1 6                             =   3 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e     f 3 2 :     3 6 1   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 8 _ 0 :     3 7 3   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 4 _ K :       9 6   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 5 _ K :       4 8   t e n s o r s 
 
 l l a m a _ m o d e l _ l o a d e r :   -   t y p e   q 6 _ K :         1   t e n s o r s 
 
 p r i n t _ i n f o :   f i l e   f o r m a t   =   G G U F   V 3   ( l a t e s t ) 
 
 p r i n t _ i n f o :   f i l e   t y p e       =   Q 4 _ K   -   M e d i u m 
 
 p r i n t _ i n f o :   f i l e   s i z e       =   7 1 . 2 7   G i B   ( 5 . 0 1   B P W )   
 
 l o a d :   0   u n u s e d   t o k e n s 
 
 l o a d :   p r i n t i n g   a l l   E O G   t o k e n s : 
 
 l o a d :       -   2 4 8 0 4 4   ( ' < | e n d o f t e x t | > ' ) 
 
 l o a d :       -   2 4 8 0 4 6   ( ' < | i m _ e n d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 3   ( ' < | f i m _ p a d | > ' ) 
 
 l o a d :       -   2 4 8 0 6 4   ( ' < | r e p o _ n a m e | > ' ) 
 
 l o a d :       -   2 4 8 0 6 5   ( ' < | f i l e _ s e p | > ' ) 
 
 l o a d :   s p e c i a l   t o k e n s   c a c h e   s i z e   =   3 3 
 
 l o a d :   t o k e n   t o   p i e c e   c a c h e   s i z e   =   1 . 7 5 8 1   M B 
 
 p r i n t _ i n f o :   a r c h                                     =   q w e n 3 5 m o e 
 
 p r i n t _ i n f o :   v o c a b _ o n l y                         =   0 
 
 p r i n t _ i n f o :   n o _ a l l o c                             =   0 
 
 p r i n t _ i n f o :   n _ c t x _ t r a i n                       =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   n _ e m b d                                 =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ e m b d _ i n p                         =   3 0 7 2 
 
 p r i n t _ i n f o :   n _ l a y e r                               =   4 8 
 
 p r i n t _ i n f o :   n _ h e a d                                 =   3 2 
 
 p r i n t _ i n f o :   n _ h e a d _ k v                           =   2 
 
 p r i n t _ i n f o :   n _ r o t                                   =   6 4 
 
 p r i n t _ i n f o :   n _ s w a                                   =   0 
 
 p r i n t _ i n f o :   i s _ s w a _ a n y                         =   0 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ k                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ e m b d _ h e a d _ v                   =   2 5 6 
 
 p r i n t _ i n f o :   n _ g q a                                   =   1 6 
 
 p r i n t _ i n f o :   n _ e m b d _ k _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   n _ e m b d _ v _ g q a                     =   5 1 2 
 
 p r i n t _ i n f o :   f _ n o r m _ e p s                         =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ n o r m _ r m s _ e p s                 =   1 . 0 e - 0 6 
 
 p r i n t _ i n f o :   f _ c l a m p _ k q v                       =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ m a x _ a l i b i _ b i a s             =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ l o g i t _ s c a l e                   =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   f _ a t t n _ s c a l e                     =   0 . 0 e + 0 0 
 
 p r i n t _ i n f o :   n _ f f                                     =   0 
 
 p r i n t _ i n f o :   n _ e x p e r t                             =   2 5 6 
 
 p r i n t _ i n f o :   n _ e x p e r t _ u s e d                   =   8 
 
 p r i n t _ i n f o :   n _ e x p e r t _ g r o u p s               =   0 
 
 p r i n t _ i n f o :   n _ g r o u p _ u s e d                     =   0 
 
 p r i n t _ i n f o :   c a u s a l   a t t n                       =   1 
 
 p r i n t _ i n f o :   p o o l i n g   t y p e                     =   - 1 
 
 p r i n t _ i n f o :   r o p e   t y p e                           =   4 0 
 
 p r i n t _ i n f o :   r o p e   s c a l i n g                     =   l i n e a r 
 
 p r i n t _ i n f o :   f r e q _ b a s e _ t r a i n               =   1 0 0 0 0 0 0 0 . 0 
 
 p r i n t _ i n f o :   f r e q _ s c a l e _ t r a i n             =   1 
 
 p r i n t _ i n f o :   n _ c t x _ o r i g _ y a r n               =   2 6 2 1 4 4 
 
 p r i n t _ i n f o :   r o p e _ y a r n _ l o g _ m u l           =   0 . 0 0 0 0 
 
 p r i n t _ i n f o :   r o p e _ f i n e t u n e d                 =   u n k n o w n 
 
 p r i n t _ i n f o :   m r o p e   s e c t i o n s                 =   [ 1 1 ,   1 1 ,   1 0 ,   0 ] 
 
 p r i n t _ i n f o :   s s m _ d _ c o n v                         =   4 
 
 p r i n t _ i n f o :   s s m _ d _ i n n e r                       =   8 1 9 2 
 
 p r i n t _ i n f o :   s s m _ d _ s t a t e                       =   1 2 8 
 
 p r i n t _ i n f o :   s s m _ d t _ r a n k                       =   6 4 
 
 p r i n t _ i n f o :   s s m _ n _ g r o u p                       =   1 6 
 
 p r i n t _ i n f o :   s s m _ d t _ b _ c _ r m s                 =   0 
 
 p r i n t _ i n f o :   m o d e l   t y p e                         =   1 2 2 B . A 1 0 B 
 
 p r i n t _ i n f o :   m o d e l   p a r a m s                     =   1 2 2 . 1 1   B 
 
 p r i n t _ i n f o :   g e n e r a l . n a m e                     =   Q w e n 3 . 5 - 1 2 2 B - A 1 0 B 
 
 p r i n t _ i n f o :   v o c a b   t y p e                         =   B P E 
 
 p r i n t _ i n f o :   n _ v o c a b                               =   2 4 8 3 2 0 
 
 p r i n t _ i n f o :   n _ m e r g e s                             =   2 4 7 5 8 7 
 
 p r i n t _ i n f o :   B O S   t o k e n                           =   1 1   ' , ' 
 
 p r i n t _ i n f o :   E O S   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O T   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   P A D   t o k e n                           =   2 4 8 0 5 5   ' < | v i s i o n _ p a d | > ' 
 
 p r i n t _ i n f o :   L F   t o k e n                             =   1 9 8   ' ' 
 
 p r i n t _ i n f o :   F I M   P R E   t o k e n                   =   2 4 8 0 6 0   ' < | f i m _ p r e f i x | > ' 
 
 p r i n t _ i n f o :   F I M   S U F   t o k e n                   =   2 4 8 0 6 2   ' < | f i m _ s u f f i x | > ' 
 
 p r i n t _ i n f o :   F I M   M I D   t o k e n                   =   2 4 8 0 6 1   ' < | f i m _ m i d d l e | > ' 
 
 p r i n t _ i n f o :   F I M   P A D   t o k e n                   =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   F I M   R E P   t o k e n                   =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   F I M   S E P   t o k e n                   =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 4   ' < | e n d o f t e x t | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 4 6   ' < | i m _ e n d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 3   ' < | f i m _ p a d | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 4   ' < | r e p o _ n a m e | > ' 
 
 p r i n t _ i n f o :   E O G   t o k e n                           =   2 4 8 0 6 5   ' < | f i l e _ s e p | > ' 
 
 p r i n t _ i n f o :   m a x   t o k e n   l e n g t h             =   2 5 6 
 
 l o a d _ t e n s o r s :   l o a d i n g   m o d e l   t e n s o r s ,   t h i s   c a n   t a k e   a   w h i l e . . .   
 
 ( m m a p   =   t r u e ,   d i r e c t _ i o   =   f a l s e ) 
 
 l l a m a _ m o d e l _ l o a d e r :   t e n s o r   o v e r r i d e s   t o   C P U   a r e   u s e d   w i t h   m m a p 
 
   e n a b l e d   -   c o n s i d e r   u s i n g   - - n o - m m a p   f o r   b e t t e r   p e r f o r m a n c e 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   o u t p u t   l a y e r   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d i n g   4 7   r e p e a t i n g   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :   o f f l o a d e d   4 9 / 4 9   l a y e r s   t o   G P U 
 
 l o a d _ t e n s o r s :       C P U _ M a p p e d   m o d e l   b u f f e r   s i z e   =   4 7 0 0 0 . 1 2   M i B 
 
 l o a d _ t e n s o r s :       C P U _ M a p p e d   m o d e l   b u f f e r   s i z e   =     5 8 5 8 . 6 0   M i B 
 
 l o a d _ t e n s o r s :                 C U D A 0   m o d e l   b u f f e r   s i z e   =   1 8 1 0 3 . 9 5   M i B 
 
 l o a d _ t e n s o r s :     C U D A 0 _ S p l i t   m o d e l   b u f f e r   s i z e   =     5 3 8 3 . 9 3   M i B 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | e n d o f t e x t | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | i m _ e n d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i m _ p a d | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | r e p o _ n a m e | >   l o g i t   b i a s   =   - i n f 
 
 c o m m o n _ i n i t _ r e s u l t :   a d d e d   < | f i l e _ s e p | >   l o g i t   b i a s   =   - i n f 
 
 l l a m a _ c o n t e x t :   c o n s t r u c t i n g   l l a m a _ c o n t e x t 
 
 l l a m a _ c o n t e x t :   n _ s e q _ m a x           =   1 
 
 l l a m a _ c o n t e x t :   n _ c t x                   =   8 1 9 2 
 
 l l a m a _ c o n t e x t :   n _ c t x _ s e q           =   8 1 9 2 
 
 l l a m a _ c o n t e x t :   n _ b a t c h               =   2 0 4 8 
 
 l l a m a _ c o n t e x t :   n _ u b a t c h             =   5 1 2 
 
 l l a m a _ c o n t e x t :   c a u s a l _ a t t n       =   1 
 
 l l a m a _ c o n t e x t :   f l a s h _ a t t n         =   e n a b l e d 
 
 l l a m a _ c o n t e x t :   k v _ u n i f i e d         =   f a l s e 
 
 l l a m a _ c o n t e x t :   f r e q _ b a s e           =   1 0 0 0 0 0 0 0 . 0 
 
 l l a m a _ c o n t e x t :   f r e q _ s c a l e         =   1 
 
 l l a m a _ c o n t e x t :   n _ c t x _ s e q   ( 8 1 9 2 )   <   n _ c t x _ t r a i n   ( 2 6 2 1 4 4 )   - -   t h e   
 
 f u l l   c a p a c i t y   o f   t h e   m o d e l   w i l l   n o t   b e   u t i l i z e d 
 
 l l a m a _ c o n t e x t :     C U D A _ H o s t     o u t p u t   b u f f e r   s i z e   =           0 . 9 5   M i B 
 
 l l a m a _ k v _ c a c h e :             C U D A 0   K V   b u f f e r   s i z e   =         5 4 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   s i z e   =       5 4 . 0 0   M i B   (     8 1 9 2   c e l l s ,     1 2   l a y e r s ,   
 
   1 / 1   s e q s ) ,   K   ( q 4 _ 0 ) :       2 7 . 0 0   M i B ,   V   ( q 4 _ 0 ) :       2 7 . 0 0   M i B 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ k   =   1 
 
 l l a m a _ k v _ c a c h e :   a t t n _ r o t _ v   =   1 
 
 l l a m a _ m e m o r y _ r e c u r r e n t :             C U D A 0   R S   b u f f e r   s i z e   =       1 4 9 . 0 6   M 
 
 i B 
 
 l l a m a _ m e m o r y _ r e c u r r e n t :   s i z e   =     1 4 9 . 0 6   M i B   (           1   c e l l s ,     4 8   
 
 l a y e r s ,     1   s e q s ) ,   R   ( f 3 2 ) :         5 . 0 6   M i B ,   S   ( f 3 2 ) :     1 4 4 . 0 0   M i B 
 
 s c h e d _ r e s e r v e :   r e s e r v i n g   . . . 
 
 s c h e d _ r e s e r v e :   r e s o l v i n g   f u s e d   G a t e d   D e l t a   N e t   s u p p o r t : 
 
 s c h e d _ r e s e r v e :   f u s e d   G a t e d   D e l t a   N e t   ( a u t o r e g r e s s i v e )   e n a b l e d 
 
 s c h e d _ r e s e r v e :   f u s e d   G a t e d   D e l t a   N e t   ( c h u n k e d )   e n a b l e d 
 
 s c h e d _ r e s e r v e :             C U D A 0   c o m p u t e   b u f f e r   s i z e   =       6 5 0 . 3 0   M i B 
 
 s c h e d _ r e s e r v e :     C U D A _ H o s t   c o m p u t e   b u f f e r   s i z e   =         2 8 . 2 9   M i B 
 
 s c h e d _ r e s e r v e :   g r a p h   n o d e s     =   4 6 1 7 
 
 s c h e d _ r e s e r v e :   g r a p h   s p l i t s   =   1 0 7   ( w i t h   b s = 5 1 2 ) ,   7 2   ( w i t h   b s = 1 
 
 ) 
 
 s c h e d _ r e s e r v e :   r e s e r v e   t o o k   2 8 . 6 0   m s ,   s c h e d   c o p i e s   =   1 
 
 c o m m o n _ i n i t _ f r o m _ p a r a m s :   w a r m i n g   u p   t h e   m o d e l   w i t h   a n   e m p t y   r u 
 
 n   -   p l e a s e   w a i t   . . .   ( - - n o - w a r m u p   t o   d i s a b l e ) 
 
 