Obtenir un `Char` à partir d'un` ByteString`

Question

Y at-il un moyen d'obtenir le premier UTF-8 Char dans un ByteString dans O (1) temps? Je cherche quelque chose comme

headUtf8 :: ByteString -> Char 
tailUtf8 :: ByteString -> ByteString 

Je ne suis pas encore contraint d'utiliser stricte ou paresseux ByteString, mais je préfère stricte. Pour ByteString paresseux, je peux pavbler quelque chose ensemble via Text, mais je ne suis pas sûr de l'efficacité (surtout de la complexité de l'espace) c'est.

import qualified Data.Text.Lazy as T 
import Data.Text.Lazy.Encoding (decodeUtf8With, encodeUtf8) 
import Data.Text.Encoding.Error (lenientDecode) 

headUtf8 :: ByteString -> Char 
headUtf8 = T.head . decodeUtf8With lenientDecode 

tailUtf8 :: ByteString -> ByteString 
tailUtf8 = encodeUtf8 . T.tail . decodeUtf8With lenientDecode 

Dans le cas où quelqu'un est intéressé, ce problème se pose lors de l'utilisation Alex pour faire un lexer qui prend en charge UTF-8 caractères .

---

Je sais que depuis Alex 3.0, vous ne devez fournir alexGetByte (et ce qui est grand!), Mais je dois encore être en mesure d'obtenir des caractères dans tout autre code dans le lexer.

Answer 1

Vous voulez le module Data.Bytestring.UTF8 dans le package utf8-string. Il contient une fonction uncons avec la signature suivante:

uncons :: ByteString -> Maybe (Char, ByteString) 

Vous pouvez ensuite définir:

headUtf8 :: ByteString -> Char 
headUtf8 = fst . fromJust . uncons 

tailUtf8 :: ByteString -> ByteString 
tailUtf8 = snd . fromJust . uncons 

Answer 2

The longest UTF-8 encoding is 6 bytes, donc si nous essayons 1, 2, ... octets, il se terminera au moins à la 6e étape, étant ainsi O (1):

import Data.Text as Text 
import Data.Text.Encoding as Text 
import Data.ByteString as BS 

splitUtf8 :: ByteString -> (Char, ByteString) 
splitUtf8 bs = go 1 
    where 
    go n | BS.null slack = (Text.head t, bs') 
     | otherwise = go (n + 1) 
     where 
     (bs1, bs') = BS.splitAt n bs 
     Some t slack _ = Text.streamDecodeUtf8 bs1 

Par exemple, voici le fractionnement a 2 + 3 octets ByteString:

*SO_40414452> splitUtf8 $ BS.pack[197, 145, 226, 138, 162] 
('\337',"\226\138\162") 

et voici un 3 + 2 octets one:

*SO_40414452> splitUtf8 $ BS.pack[226, 138, 162, 197, 145] 
('\8866',"\197\145")