Наткнулся на ту же проблему.
Согласно статье
https://msdn.microsoft.com/en-us/library/cc626307.aspxв файле \phpbb\db\driver\mssqlnative.php
53 строка, функция function sql_connect($sqlserver, $sqluser, $sqlpassword, $database, $port = false, $persistency = false, $new_link = false)
написал так:
$this->db_connect_id = sqlsrv_connect($this->server, array(
'Database' => $this->dbname,
'UID' => $this->user,
'PWD' => $sqlpassword,
"CharacterSet" => "UTF-8"
));
Все заработало.